近日,国际数据公司 IDC 发布了首份聚焦大数据湖仓市场的报告《IDC MarketScape:中国实时湖仓市场2024年厂商评估》。结果显示,基于能力和战略纬度的综合评估,腾讯云位居“领导者”类别。IDC认为,未来五年,实时湖仓解决方案将在金融、互联网、制造、能源、零售、供应链管理等领域完成大规模落地。
数据量级的攀升和计算场景的多元持续驱动着大数据技术革新,而实时湖仓代表了当下主流趋势和企业需求——针对实时场景,通过能兼容多种数据类型的湖仓一体技术架构,实现技术与应用场景的支持和融合。
根据IDC 调研显示,当前整体市场实时数据处理需求占比在 15%–20%左右,而互联网、电商零售领域的实时、近实时需求占比近五成。但广阔的应用前景落地也面临着挑战,一是终端用户在测试部署时关心对存量应用的适配性,二是技术供应商提供的一套解决方案需要可解耦性,避免全部推翻的可能性,要与已经建设的数据解析、报表应用等结合。
作为本次报告的“领导者”类别,腾讯云大数据已基于全新的技术架构、数据治理理念以及产品能力,构筑了国内领先的大数据产品矩阵,覆盖底层的大数据基础引擎 TCHouse 和DLC、中层的一站式大数据开发治理平台WeData、再到上层的BI应用,以及面向金融、政企等行业的大数据处理套件TBDS。
腾讯云大数据通过数据仓库 TCHouse 和数据湖计算 DLC 助力企业快速落地实时湖仓技术。IDC认为,使用腾讯云 DLC Serverless Spark 快速构建高灵活性的统一数据湖基座,TCHouse 可直接访问 DLC 湖存储并提供毫秒级高性能查询,过程无需经过任何数据复制和同步,从而使用户能同时享受到数据湖的灵活性、低成本、一体化存储的优势,以及云数仓TCHouse 提供的高性能查询优势。
数据开发治理平台 WeData,融合了包含数据集成、DataOps 数据开发,运维能力,以及数据建模、数据资产、数据质量、数据安全、数据服务等一系列数据管理和治理能力。
同时,面向金融、政企等行业,腾讯云 TBDS 全新升级云原生湖仓一体架构,在超大集群扩展、资源租户级隔离、存算分离下性能、金融级安全及自主技术创新等方面显著提升。支持私有化、混合云等灵活交付模式,为企业提供稳定可靠、高性能、易运维,灵活可控的大数据解决方案。
IDC还认为,腾讯云实时湖仓可以更好地将大数据服务与生成式AI能力融合,DLC/EMR的分布式计算框架提供了面向AIGC场景大规模数据预处理的参数优化,可以支撑大模型数据预处理算法的并行化执行来提升整个链路的效率,实现从PB级原始数据到高质量训练数据的加工清洗,并已为多家头部大模型公司提供算力。
越来越多的企业正在“实时湖仓”的创新技术架构下,为业务发展提供全新数据动力。某头部寿险企业基于腾讯云大数据平台服务能力,覆盖了秒、分钟、小时、日等全时效的数据处理场景,共支撑其数据部门及业务部门的数十项业务开发,高效支撑运行分析、活动分析、产品营销、精算再保、人工智能大模型等多个关键业务领域。
猫眼和腾讯云的合作后,海量数据入仓时效性从天级别提升为分钟级别,部分任务执行效率提升20~40%,为对猫眼电影票、演出交易运营,影院运营,电影UGC运营等核心业务提供数据支撑。
蔚来基于腾讯云大数据了打造实时湖仓与统一数据开发治理平台,实现综合成本优化,运维资源减少60%,日均运行上万个任务实例,满足模型更新敏捷迭代需求,支撑自动驾驶业务发展。
除此之外,仅2024年,腾讯云实时湖仓解决方案还新增百家客户,覆盖政府、汽车、网络、AI、证券、审计、医疗等众多行业,市场认可度不断提升。未来,腾讯云大数据持续为各行业客户提供轻快、易用、智能的大数据平台。