“即席查询耗时从十多分钟到0.1秒,这样的进化不是个例,而发生在我们数据场景的方方面面。”
豫园珠宝时尚集团(下文简称“豫园珠宝”)是上海豫园旅游商城(集团)股份有限公司的全资子公司,旗下拥有“老庙”、“亚一”两大经典珠宝品牌,并先后投资了海外多个高端珠宝品牌,形成多品牌矩阵、全生态链布局。
伴随业务的高速发展与数字化转型的深入,豫园珠宝对数据基建提出了更高的要求——数据可管、可信、可用,能力更全、更快、更准。
2022年冬,豫园珠宝与独立第三方数据科技厂商奇点云正式达成合作,以股份统一的数据管理平台为底座,以用户域为切入点,完成了豫园珠宝的数据基建升级。短短4个月,不仅打通了数据孤岛、沉淀了数据资产,数据查询分析效率、报表开发效率与运维管理效率均得到显著提升。以强大的数据能力,应对复杂的数据场景与精细化的业务运营。
01 数据使用进入深水区
需要稳定高效的数据基建
豫园珠宝用户运营部介绍,零售集团在用户域(消费者域)做数据能力建设,通常分为两层:上层,是直接连接业务的数据应用,例如零售业内更为熟悉的用户运营工具;水面之下,则是数据基础设施(数据平台/数据仓库),来承载数据的存算、查询、分析。
此前,豫园珠宝基于开源技术自建了一套数仓,用以支持简单的数据查询和报表需求。而伴随着数据使用深入,现有能力已难以应对复杂的数据场景。
“举个简单的例子,我们想在渠道活动的策划阶段,基于量化分析设计活动策略,并在活动结束后复盘效果,以便优化后续运营策略,以往就比较难实现。”用户运营部数据运营组表示,“因为系统间数据没有打通,手工提取数据做分析的周期太长,所以很多时候业务同事有些想法希望做量化验证,但没条件来支撑更具体、更细节的分析,比如想看活动客单价超过一定金额的消费者分布,可能因为跨系统聚合的数据比较复杂,最后就不做了。”
经过需求调研,数据运营组发现,要以数据驱动精细化运营,以下痛点亟待解决,而这些痛点恰恰根源于数据基础设施建设。
数据管理难:业务系统众多,数据散落于各个“孤岛”且各有各的“语言”,无法完成统一的处理分析。
数据开发难:缺少关联条件,高度依赖手工导出,导致跨数据源交叉分析难;缺少聚合表、宽表,无法支撑大数据量的复杂计算加工。
报表分析难:过去大量报表计算都集中在BI服务端,导致BI端计算压力过大,查询响应时间过长。
工具运维难:前期报表建设的逻辑未沉淀,导致后续仍需要进行大量重复劳动,每次开发新报表都要重新梳理逻辑;数仓和BI工具缺乏运维支持,对团队技术挑战大。
“要真正具备可持续的数据能力,就要沉下心做基建。”
豫园珠宝从“技术成熟的数据平台底座”和“规范易用的数据资产体系”两大维度攻克难关,力求提升数据规范性、可用性、时效性。
02 一平台+三步骤
建设可管、可信、可用的数据资产
回溯至2022年初,豫园股份以共享、个性、协同为要求,基于奇点云数据云平台DataSimba,搭建了“既统一又个性”的数据管理平台。依托“分级多域”、“多租户安全”等能力,豫园珠宝可以在平台中独立开设一个Project(项目),在确保数据安全合规的同时,省去了搭建基础设施的时间和软件成本。
数据运营组介绍,相较过去通过开源软件自建的旧数仓,新平台能支撑数据集成、研发、运维、服务、治理等全链路的数据工作,平台的稳定性、可靠性、可服务性及存算性能有质的提升,能轻松支撑TB级的数据及高频调度作业,“技术成熟的数据平台底座”难题因此迎刃而解。
数据云平台 DataSimba架构图
有了平台,还只是打下产品基础。平台之上,构建统一规范的数据标准体系,从业务出发沉淀数据资产,才能让数据得到高效的存算、分析及应用,发挥数据价值。
在奇点云协同下,豫园珠宝首先从用户域切入,完成数据资产建设「三步走」:
步骤一:数据集成与治理
整合包括企微、小程序、CRM、订单、客服系统等在内的数十个数据源,打通数据孤岛,统一“上云”(进入数据平台),确保数据出入口一致。
进一步,完成主数据治理(例如梳理明确的渠道信息)与元数据治理(例如规范表、字段命名,梳理血缘关系),让数据可查、可关联、可用。
步骤二:指标体系建模
围绕用户(会员)域,项目组通过业务调研,深入挖掘核心指标,完成了原子指标及派生指标的开发,建立了指标分析场景。结合奇点云已有成熟的消费者域数据模型,豫园珠宝采用分层建模构建了全新的指标体系,能快速响应业务与组织变化,支撑灵活的报表分析需求与精细化的分析场景。
步骤三:分析计算优化
数据平台架构升级,由平台层承接报表的计算任务,根据报表分析所需维度输出计算结果,改变原有把计算压力堆积在BI端的做法,大大优化了计算和分析效率。
基于“一平台”与“三步骤”,豫园珠宝完成了以用户域为切入口的数据基建,确保数据可管、可信、可用,能敏捷响应高速发展的业务与数据需求。
03 沉淀自有数据能力
数据驱动效率倍增
不久前,基于DataSimba搭建的豫园珠宝数据管理平台正式验收,数据及报表均迁移完成,得到团队高频使用。
谈及历时4个月的数据基础设施建设,豫园珠宝用户运营部表示:“过去我们在数据应用层已有很多好的实践,但经历了这次数据基建的迭代,数据能力实现跃迁,更全(打通数据孤岛)、更快(分析时效提升)、更准(经数据治理标准统一)。从底层数据能力入手,踏踏实实做基建,才能持续为集团发展做数据支撑。”
参与本项目的运营部成员坦言,其实在启动之初,并未设想数据基建也能带来如此显著的“降本增效”:
提升查询时效性:在逻辑优化及分析型数据库加持下,即席查询、全量查询、复杂查询等效率均得到大幅优化。例如,同样规则下查询计算“消费金额”,耗时从十几分钟缩短为0.1秒。
提升报表开发效率:依托标准的指标体系及指标的强解耦性,可以快速构建报表,直接改变了原本每次新开发都必须重新梳理逻辑、存在大量重复劳动的情况。对于临时紧急的看数需求,也能通过新平台高效响应,满足个性化需求。
降低维护及学习门槛:基于DataSimba搭建的数据管理平台相较自建开源数仓,有更为成熟的使用指南和运维支持,降低了团队的学习门槛。团队相关know-how都可通过平台软件沉淀,而不仅仅“装在资深工程师的脑子里”。
下一阶段,豫园珠宝还将深挖数据价值,构建多维立体的分析场景,支持业务决策。同时,也将把用户域的成熟经验复制至更多域,建设豫园珠宝数据资产“一盘棋”。
作为独立第三方数据科技服务商,奇点云有幸与豫园珠宝携手,沉淀数据资产,完成数据基建进化。未来,奇点云期待陪伴豫园珠宝前行,为“诠释新中式美学,实现品牌新生”贡献DT时代新势能。