分布式数据库发展正当时,华为云专家详解三大关键技术

2023-06-05 10:52:54     来源:

5月26日,在由北京金融科技产业联盟主办,华为云与《金融电子化》杂志社协办的“金融科技师培育项目系列之分布式数据库人才能力提升专题研修班”中,华为数据库GaussDB架构师王磊以“分布式数据库技术探索与展望”为主题,围绕分布式数据库发展历程、三项关键技术、未来发展方向等内容与参训嘉宾进行了深入的探讨与交流,为现场嘉宾带来了干货满满的技术盛宴。

分布式数据库发展正当时

数据库和人们的生产生活密不可分。大到国家机关的各类公文数据、商业银行的存款贷款数据、企业组织的人员管理信息、财务管理系统,小到我们日常生活中购物、打车、点餐等,都有数据库在背后默默地支撑。近年来,随着移动互联网爆发式发展和各行各业数字化转型的不断推进,数据量和计算量暴增,传统集中数据库面临着容量、算力、成本和可靠性等多方面的挑战。而分布式数据库凭借在扩展性、性能、可用性等方面的优势,正在成为当前数据库技术发展的重要方向。

据王磊介绍,分布式数据库的发展主要经历了应用分库分表垂直拆分、分布式中间件、原生分布式数据库三个阶段。从技术路线来看,分布式数据库大致可分为“基于共享存储一写多读、Shared nothing、基于共享存储多写分布式数据库”三大技术路线。

三大关键技术详解揭开分布式数据库的“奥秘

在本次分享中,王磊重点围绕“高可用、事务管理、执行器”三个关键技术栈对分布式数据库做了详细介绍。

其中高可用技术是通过组件、副本、模块等冗余,支持局部故障场景下的业务连续性。在数据库系统中,通常用RTO和RPO两个指标来衡量可用性。其中RPO(Recovery Point Obejective,恢复点目标)是指业务系统所允许的在灾难过程中的最大数据丢失量,用来衡量容灾系统的数据冗余备份能力;RTO(Recovery Time Objective,恢复时间目标)是指信息系统从灾难状态恢复到可运行状态所需的时间,用来衡量容灾系统的业务恢复能力。不同的组织对于RTO和RPO的要求不同,提升RPO的关键技术在于分布式一致性复制协议,而要提升RTO,则需要重点提升故障检测和故障恢复技术水平。

作为主打金融政企核心业务负载的分布式数据库,GaussDB通过多项关键技术,使日志回放效率大幅提升,实现大压力下RTO<10s的极致高可靠;同时所有故障场景可检测、可恢复,通过多项冗余设计,实现整个系统无单点故障。硬件高可用和软件高可用“双管齐下”,进一步提升了GaussDB的可用性。此外,GaussDB提供金融级高可用服务,支持RPO=0的同城双集群切换,最大限度地保证数据的安全性以及服务的可用性。

在分布式数据库中,分布式事务面临原子性问题和一致性问题。为了保证分布式事务的原子性,分布式数据库通常采用两阶段一致性提交协议,同时采用多版本并发控制(MVCC)来保证与写事务并发执行的查询事务的一致性。王磊还对MVCC的快照管理方式和不同版本的存储管理进行了详细介绍,并以GaussDB为例,解读了活跃事务链表算法和提交时间戳算法。

在性能方面,王磊指出,分布式数据库高性能的关键在于分布式执行框架。分布式执行框架在提升分布式执行效率的同时,通过全局索引、在线数据搬迁、防篡改技术、AI4DB等技术,保证了高性能和高安全性,并可实现自监控、自诊断、自优化端到端自治运维服务。

在本次课程的最后,王磊表示:“随着分布式数据库在技术标准、应用标准、解决方案等方面的规范化,分布式数据库的格局会更加清晰,多写、自适应数据迁移、多层资源池化或将成为未来理想的分布式数据库形态。”

分布式数据库发展浪潮正劲,为中国数据库产业带来巨大的市场机遇,其中人才培养和生态建设成为制胜关键,需要持之以恒的投入。华为云将一如既往地坚定投入数据库研究,通过产学研用深度融合,联合伙伴、高校一起推动数据库人才培养,持续完善人才认证培养体系,保障数据库产业未来人才供给,共同推动数据库产业发展。

标签:

猜你喜欢

初战告捷,坚果618持续高速增长
珍爱网相亲平台公布《2023单身女性婚恋观调研》
正面对标opporeno10 荣耀90影像报告
安信电子工作证全力服务保障2023年“数博会”顺利举行
《变形金刚7》即将上映,雷神推出全新变形金刚联名笔记本
中盾安信顺利通过ISO27001信息安全管理体系认证
数字医疗方兴未艾,华广瑞特以全院血糖信息化为慢病管理“减负”
脑虎科技高通量神经信号采集系统首次亮相 助力科研和医疗各领域
农牧人羊掌柜:以“数据”构建羊肉全产业链数字化版图
信安世纪2023Roadmap发布会|这是一期有“重点”的分享
肌肤氧化怎么办?TimeShop R-硫辛酸钠从根源清除自由基,阻断黑色素
TimeShop S-乙酰基谷胱甘肽,靶向根源,助力美肤
睾酮过量油腻脱发?TimeShop番茄红素助力改善“男题”
为年轻Z世代办公理想而生,罗技 Signature K865—我的默契办公搭档
华为甘斌:夯实泛在千兆网络,加速万兆融合创新
拥抱创新,中国联通与华为合作全球首个5G-Advanced通感算一体车联网亮相北展
3D打印助力齿科数字化升级,黑格科技携全链路解决方案亮相北京展
数智领航 未来已来|华为亮相2023中国国际信息通信展
华为陈传飞:持续构筑中国5G创新引领之路
华为李鹏:5G+AI持续创新, 拥抱数智经济新时代
华为:践行双碳战略,点亮绿色ICT基础设施
越南芽庄海洋节无人机表演,让世界看到中国科技之美!
中兴终端精彩亮相北京PT展 携手5G技术引领数字生态
又添新翼!普宙科技荣膺世界无人机大会·独角兽企业等四项大奖
女性益生菌什么牌子好?三大要素必不可少
U设计周2023启幕 阿里元境承办Uwin元宇宙与“云游戏+”论坛重磅发声
全球知名无人机品牌AEE一电航空 再发新品,火爆第六届世界无人机大会!
盐田携手深圳联通 共同推进“数字盐田”建设
天猫优品高端家电博览会集结百余行业大牌 打响618家电零售冲锋战
小影科技获评《2023中国品牌全球化服务商50强》