单日30PB量级!火山引擎ByteHouse云原生的数据导入这么做

2023-12-18 11:52:13     来源:

近期,火山引擎ByteHouse技术专家受邀参加DataFunCon2023(深圳站)活动,并以“火山引擎ByteHouse基于云原生架构的实时导入探索与实践”为题进行了技术分享。在分享中,火山引擎ByteHouse技术专家以Kafka和物化MySQL两种实时导入技术为例,介绍了ByteHouse的整体架构演进以及基于不同架构的实时导入技术实现。

随着企业降本增效、智能化数据决策需求的增强,传统的商业数据库已经难以满足和响应快速增长的业务诉求。在此背景下,云原生数据库成为大势所趋。云原生数据库基于云平台构建、部署和分发,具有高可用性、高性能、高可靠等特点,可以帮助企业更好地实现数据智能化决策。

火山引擎ByteHouse是基于开源ClickHouse进行技术优化和升级的一款云原生数据仓库。ClickHouse原有的分布式架构具有无中心多主节点以及存储方便的优势。但它也存在节点故障处理成本高、读写冲突、扩容成本高以及一致性欠缺等架构痛点。基于此,ByteHouse在社区分布式架构基础上,演进并开源了ClickHouse新型云原生架构。并且ByteHouse在新架构下也做了实时导入技术的设计与实现。

不同架构实时导入技术比较(Kafka)

据介绍,火山引擎ByteHouse云原生架构分为三层:第一层是云服务入口,负责承接所有的用户请求;第二层是执行层,主要负责查询和导入的功能,实现读写分离;第三层是数据存储层,支持多种云存储组件。在云原生架构下,ByteHouse不仅具有运维成本和门槛低的架构优势,还通过读写分离等手段解决了查询高峰导致导入停滞等问题,并且得益于架构优势引入了弹性扩缩容能力以及高可用性。

火山引擎ByteHouse云原生架构图

由于云原生架构的应用,面对字节跳动内部激增的业务量以及处理庞大数据量的需求,ByteHouse在实时导入技术方面进行了相应的优化升级。目前,ByteHouse以Kafka和物化MySQL作为实时导入的主要数据源。

在Kafka导入实现中,ByteHouse可以实现秒级数据延时和单表GiB级吞吐,支持绝大部分在线实时分析业务场景。相比社区版本,其优势在于高可用性和容错机制,并支持Exactly-Once消费语义,保证数据的可靠性和完整性。

物化MySQL是一种将MySQL数据库中的数据按库级别同步到ByteHouse中的能力,主要工作流程为基于MySQL数据库创建一个物化库引擎,该引擎初始化时从MySQL拉取指定库的所有存量数据,后续通过binlog同步回放的方式持续同步增量数据。其优势在于,不仅保证数据的一致性和完整性,还可以对数据实时分析和处理,提高处理的速度和效率。

目前,火山引擎ByteHouse云原生架构已经全面服务内、外部多种业务场景,实时导入已支持超过2500个服务节点,每天实时导入数据规模超过30PB。未来,火山引擎ByteHouse团队还将持续探索更通用的实时导入技术解决方案,进一步提升数据导入的性能和通用性。

标签:

猜你喜欢

金山云与昆山市政府签署战略合作协议
徕卡奥斯卡·巴纳克摄影奖影像展于厦门隆重开幕
笑声与泪水合奏,电竞已成为世界青年交流纽带
《2023中、欧屈光性白内障手术白皮书》发布会在南京爱尔眼科医院举办
华为、特斯拉、雅迪等头部企业获评第六届2023“新奖”
加速推动AICG+UGC融合,《蛋仔派对》万能生成器引领智能化创作新风潮
Playkids普洛可X6-5斩获国际科创节「2023年度产品创新奖」
雅迪再掀橙色热销风暴,用“优质服务”诠释领先真谛
大宇无限 2023 Hackday: 以 AI 技术创想科技未来
海信首个信号项目贵阳轨道交通3号线开通运营,助力贵阳轨道交通迈入“线网时代”
内存屏幕双越级,真我V50系列起售价999元!
紫金保险再获“2023中国保险业数字化转型优秀案例”奖项!
首届戏剧与影视专业学位建设和发展高端论坛在南京举行
“遇上未来,元启世界”——2023浙江元宇宙产业大会顺利举行
上海交大终身教育学院宣怀大讲堂之“人工智能助力城市双碳数字化”论坛顺利举办
威科未来上榜量子位“2023人工智能年度创业公司TOP20”
新品上市 泰岳UltraHub新一代AI全景会议平板
中国管理科学领域年度盛会在沪召开 大咖齐聚论道管理变革
针对细分需求打造矩阵账号,点金手帮助教育机构强势获客
国内首档中医文化类养成真人秀,「国医少年志」正式发布
openEuler汇聚开源力量,共建全球开源生态
英特尔成为openEuler社区黄金捐赠人,共建最具创新的开源社区
麒麟软件领先商业实践 为国产操作系统发展“打样”
「国医少年志」正式发布,助力年轻人爱上中医药
操作系统大会 & openEuler Summit 2023闭幕 东方通向openEuler社区捐赠两个项目
Snorkel AI——领先科技能力,才能拥有广阔的市场前景
解码云原生数据库技术与价值,华为云联创营云上综合治理研讨班走进苏州
AEE一电航空“守护者三”无人机双机库全自动停机坪通过公安部一所检测认证!
大朋VR行业新品发布:E4企业版“六大升级”重塑行业经典
偶数科技荣获第二届中国赛宝信息技术应用创新二等奖