偶数科技亮相2023中国程序员节——数据库技术高峰论坛

2023-11-02 09:32:56     来源:

近日,由中国软件行业协会主办的“中国程序员节”在北京、深圳、宁波多地同时召开,其中数据库技术高峰论坛在北京举办,偶数科技亮相本次论坛并分享了题为《大模型、实时需求推动湖仓平台走向开放》的主题演讲。

国际局势复杂、科技竞争加速,数据库作为科技发展的根技术之一,在信息管理、决策支持、数据挖掘等方面的重要性日益凸显。为了进一步推动国产数据库技术的发展和应用,本次论坛汇聚了业界专家、学者,围绕多模态、分布式、国产迁移、湖仓一体、开源社区等数据库技术话题开展交流与探讨,增进广大程序员对前沿新技术及应用的深入了解,拓展知识深度。

当下,AI和实时场景的需求不断扩展,AI+实时俨然成为了企业数据平台无法避免的技术焦点。偶数市场总监杨哲就如何让企业如何通过开放的数据平台拥抱AI+实时的双重能力,进行了分享。

偶数给出的破局之道首先是在数据的存储方面采用开放格式的一份数据(如Parquet、ORC、Hudi等)。各个计算引擎都使用开放的数据格式,数据以开放文件格式被写入数据平台,之后就能被多个引擎多次直接读取和使用。

有了存储的开放性,在计算引擎方面,可以尽量优化和减少计算引擎的数量,并针对结构化数据、非结构化数据和流式数据,选用各具优势的计算引擎:

 针对流数据的计算,采用常见的Flink;

 针对非结构化数据和机器学习,可以采用Spark;

 针对结构化数据,需要兼容开放数据格式,兼顾实时查询、离线分析、高并发和高可用的分析引擎,比如偶数的OushuDB。

至此,开放格式,一份数据,多个引擎的架构初步形成,这样的“一数多擎”架构形成了可以破局当前企业数据困境的方案——实时湖仓(Realtime Lakehouse)。“一数多擎”是偶数在多个行业的湖仓一体项目落地中不断迭代的最佳实践,企业在选择多个引擎时一定需要基于“化繁为简”和“扬长避短”原则。

标签:

猜你喜欢

QQ音乐与vivo深度合作,联手攻克音频功耗问题
超凡实力,再创佳绩!博奥真BIOAGEN双11开门红战报来袭!
首战打响!Bioagen博奥真问鼎京东双十一养颜抗氧化类目
施振旦:国家水禽产业技术体系专家施振旦研究员 助力鹅产业转型升级
电竞键轴暴涨600%,天猫双11开卖首日电玩设备增长火爆
黄威:立足国家需求 创新仿生材料
纳芯微出席2023全球新能源与智能汽车供应链创新大会
边缘智能撑起数智化半边天,底座三驾“马车”是发展关键!
江苏电信启动“爱心翼站”公益工程,4501个爱心翼站共同点亮关爱
翻译产品怎么选?AI翻译耳机是智商税还是真实用?
引领绿色发展!理光中国荣获2023年黄浦区ESG创新实践奖
能链智电与加特林新能源达成合作 推动区域充电服务网络互联互通
业内首个!宁畅E420 G50边缘服务器亮相云栖大会
银发时代 | 京都墨韵·及象“金象奖”全国线下艺术展,爆火出圈!
安全建设、运营两手抓,华为云筑牢云上数据安全屏障
长亭科技三项领域技术入选Gartner《2023中国安全技术成熟度曲线》
2023全国中小企业数字化转型大会举行,共话平台赋能中小企业跨越升级
百年红会再注科技新活力 擎朗医疗灵动系列机器人M301助力构建检验科物流新体系
超智融合 AI 大模型应用落地发展论坛在沈阳举行
遥遥领先!华为云双11营销季携20+明星云产品重磅来袭
魏连波教授荣获“2023年研究型医院评价遴选”研究型人才称号
联想集团副总裁王茜莺:用好大模型的重要三要素
云徙双中台能力赋能车企数字化转型
Gartner发布权威报告,深信服成为五大安全领域代表厂商
火山引擎内容云助力安利构建内容生态系统,实现全链路打通
“掠夺者存储” 品牌成为WBG英雄联盟战队深度合作伙伴,共夺巅峰!
多款AI单品“真五折”!阿尔法蛋双11全网超低价,孩子从小用到大!
助力交通强国山东示范区建设,海信智慧交通交出亮眼成绩单
赛睿爱丽丝(Alias)系列麦克风:为主播的声音赋能
大胆“开麦”,共创未来,优创数据“2023员工敬业度调查”正式启动