DTC 2023精彩回顾丨孔再华:openGauss在民生银行的应用实践

2023-04-26 09:58:11     来源:

伴随信创产业的蓬勃发展,数据库的替代升级对数据库内核技术、功能迭代、服务支撑都提出了更高的要求和更复杂的挑战。这其中,金融行业对数据库产品的要求尤为严苛,应用实践场景也尤其具有代表性。

2023年4月7-8日,由中国DBA联盟(ACDU)和墨天轮社区联合主办的第十二届“数据技术嘉年华”(DTC 2023)在北京新云南皇冠假日酒店成功举办,中国民生银行资深数据库专家孔再华受邀出席了「金融行业实践」专题论坛,并发表了《openGauss在民生银行的应用实践》的主题演讲。孔再华就民生银行对数据库选型替代的思考与设计,以及在openGauss上的具体应用实践,和现场近两百位数据技术及金融科技从业者、参会嘉宾做了深入交流。以下内容根据孔再华的演讲实录整理而成。

01 openGauss在民生银行的应用架构实践

当一个新的数据库产品到了银行之后,首先要思考的就是高可用怎么做。我们在测试一款数据库的时候可能主要关注其功能和性能,但真正部署的时候最需要的往往是稳定性。关于高可用,民生银行早期在使用openGauss的时候,分布式的高可用组件工具CM尚未开源,基于民生银行一直以来在高可用方面的需求,结合了原有商业数据库及其配套的高可用软件和方案,以及后续接入的MySQL数据库及其主从方案,与云和恩墨通力合作,在经历了很长一段时间的积累后,通过持续的功能设计和优化完善,最终形成了本地化的高可用方案。

孔再华介绍到,在双机的高可用方案里,有6个关键的设计点:本地进程守护、主库丢失切换、文件系统检测、双主检测自杀、主库孤单自杀、从库丢失检测。整个高可用方案基于比较成熟的、不断的经验积累而形成。

关于部署的形态,孔再华首先介绍了一主一从的虚拟机方案。在这个方案里,虚拟机高可用漂移,主从不切换;同时,加入HA守护数据库进程,实现故障后自动拉起,即某一虚拟机出现故障后,仍能保障数据的一致性。

另一个方案是物理机方案。和虚拟机方案类似,同样是同城双中心,物理机方案采用FIRST设置,可实现本地同城数据同步、本地HA激活故障切换,在同城HA非激活状态下,也可人工干预同城切换。

除了同城双中心的保护之外,民生银行在openGauss应用实践中还设计了常见的两地三中心容灾方案。该方案采用一主一从的架构,在异地的机房里设置同等比例的服务器,通过使用openGauss主从复制的能力,以及一些可定制化的配置设计而成,可实现异地数据异步传输、异地级联复制、异地演练、异地切换。

在容灾方案的基础上进一步延伸,民生银行在openGauss的使用中还设计了逃生库方案,解决了人为操作或者其他原因导致数据丢失时如何找回的问题。逃生库独立于OM集群管控之外,支持延时回放、迅速恢复到目标时间点,紧急情况下具备可扩容承载业务的服务功能。

逃生库方案中还包含了Kubernetes云原生方案的设计。云原生方案是民生银行开发出来的operator,作为民生银行测试环境主推的方案,采用多中心集群部署形态,可实现从部署到扩容、回收、集群监控、集群高可用等全生命周期管理,同时支持多网络插件、多存储插件、可维护状态设定和故障自愈。

02 民生银行与社区协同优化openGauss产品功能

民生银行在openGauss的使用过程中,非常大的一个变化是客户端自适应能力。孔再华提到,我们不再采用传统的VIP模式,而是配置所有主从的IP列表(通过DNS配置主机名指向物理IP),利用客户端的自动辨识功能连接主库,这是民生银行使用其他数据库所不具备的。在此之前,openGauss的JDBC客户端支持多IP配置,支持读写分离;ODBC客户端支持多IP配置,但不支持读写分离,只能通过transaction_read_only属性区分是否为主库;Libpq支持多IP配置,不支持读写分离;甚至连Python驱动和Go驱动也不具备这样的自适应能力。在民生银行的积极推动及openGauss社区的共同努力下,客户端的自适应能力得到了显著改变和快速成长。

在本地提交问题上,民生银行协同openGauss社区也做了进一步的功能优化。原先主从复制后,很容易出现主从日志分叉,进而导致主从数据不一致,在openGauss使用初期,确实因这个问题产生过不少困扰。最终的优化方案中,决定在本地提交的数据中加入同步点,除了日志之外,数据库在发送日志过程中,写下了从库回来某一个同步点的信息即日志的位置。日志的位置在之前说明已经提交给从库是一致性的点,如果临时点之后本地日志还有从库没有收到的local  commit数据,就不能做Build。如果发现数据不一致,就需要用一些日志的工具去把两个分叉的日志点往后的数据全部弄出来,看到数据的差异。

行存压缩能力是民生银行早期向openGauss社区开发提出的需求之一。经过过去两三年的功能优化,openGauss的行存压缩能力已经有了显著增强,压缩之后不仅空间、容量使用上会很少,性能上也有一定的增强改进。在测试环境中,无论是表还是索引,整体压缩率都较高,在真实的生产环境中也能压缩到三分之一左右。

03 openGauss产品的需求与期望

演讲尾声,谈到对openGauss产品的需求和期望,孔再华提到两点——稳定和易用。他认为,任何产品新功能的使用,稳定都是第一位,确保新功能不对老功能产生侵害,确保它稳定、安全之后再交付给用户使用。随着民生银行使用openGauss的时间增长,这种感受和需求也日益加深。其次是易用。“开发并优化客户真正需要的功能,最大程度确保稳定和易用,相信是广大openGauss用户和社区持续共同的目标和追求。”孔再华讲道。

当前,中国数据库的发展正可谓百花齐放、如火如荼,以民生银行为代表的金融行业应用实践就是鲜活有力的说明。在千行百业的数字化转型升级需求下,相信以openGauss为代表的中国数据库定将不负时代使命,持续优化创新,共同加速数字化发展、推进数字中国建设。

标签:

猜你喜欢

宁圣国际企业发展集团有限公司宣布新的战略联盟
典籍里的中国 X 抖音全民好书计划:以“新书”会友,不亦“阅”?
共话智能网联汽车发展新战略 -AUTOSEMO“软硬融合,智创未来”主题论坛圆满落幕
特赞将举办“ 数字设计:AIGC 创建者大会”,议程公开大咖齐聚
全域流量加码,多重玩法驱动,抖音520好礼季火热招商中
玩家解读暴雪3亿欠遭网易起诉:未还国服游戏“预付分成款”
新起点 新战略 共赢数安蓝海|美创科技首届渠道高峰论坛成功召开
绿色智能,携手伙伴,打造“算力灯塔” ,助力金融客户数字转型
揭秘:为什么说APLD激光显示技术比传统的三色激光更受欢迎?
雅致盆底肌修复仪引反响,用户从传统产康进入科技产康
AGM G2 GT正式发布,首发500米热成像,售价5999元起
openGauss:共建数据库根社区,打造开源数据库核心竞争力
盈峰环境新能源环卫装备2022年市占率行业第一
按下智慧城轨“加速键”,武汉乘“云”跨入世界级地铁城市
交通银行与华为、中国电信联合发布《5G金融云专网技术及应用》白皮书全面推进5G金融行业落地
机会来了!每年为你省百万元治疗费用!这些天价抗癌药来中国了
水獭掌柜外卖打印机接入抖音团购配送平台,提升餐饮数字化运营效率
五一出游跟着京东超值榜单换新机 iPhone 14 Pro Max限时领券立减800元
继上海车展后,又一顶级消费展AWE即将开幕
MetaSight®G200新品发布后续,专访中南大学邬玲仟教授、陆军军医大学西南医院胡斌教授
Splunk被评为安全信息和事件管理(SIEM)领域的领导者
教育智能硬件出货量第一,作业帮正式进入学习机市场
解零售业能耗、安防、防损三大难题,多点Dmall智能物联解决方案成效显著
平安壹钱包:强化平台责任 守护用户隐私安全
“返老还童”可实现吗?赛乐瑞MAX从衰老本质入手,让健康长寿不是梦
典籍里的中国 X 抖音全民好书计划:以“新书”会友,不亦“阅”?
2023怎么办?罗振宇分享来自10本好书的行动指南
探索法律服务模式,赢火虫荣获“2022年度新兴法律服务行业创新机构”
数字风洞护航网络安全“奥运会”丨永信至诚保障第三届“网鼎杯”圆满收官
分清层次抗衰,才能养成好皮肤!PUROL肌光瓶让你无惧岁月,活出自己