数据存储架构从MySQL到ByteHouse,抖音精准推荐查询效率提升百倍

2024-03-08 14:37:01     来源:

抖音依靠自身推荐系统为用户推送可能感兴趣的视频内容,其中离不开对兴趣用户的精准圈选。对兴趣用户的圈选主要通过理解核心用户的偏好特征,判断两者偏好的相似性,从而构建同类用户的兴趣圈层,实现精准推荐。

以往的兴趣圈层往往依赖单一的维度或标签,比如内容类型、时长、地理特征等,难以揭示用户兴趣的底层逻辑。例如,“重庆美女小姐姐吃播视频”“二次元古风舞蹈视频”,从表面上看,吃播与舞蹈、重庆与古风.....标签类型完全不相同。经过深度分析,运营人员发现喜欢两个视频竟然是同类人群。通过挖掘用户底层兴趣逻辑,将共同兴趣的人划分在同一个兴趣圈层中,并向他们推荐更多相关内容,是抖音兴趣圈层平台主要的能力之一。

要搭建这样一套兴趣圈层平台,不仅需要精细的算法策略,对底层数据存储架构也是一大挑战。之前,技术团队主要采用MySQL作为存储架构。作为一种行式存储的数据库,MySQL对于大量数据的处理效率不尽如人意,需要高配置硬件,甚至要采用分片、读写分离等策略来提升性能,导致硬件成本显著提高。其中,MySQL的瓶颈还体现在:

• 每日新增数据量庞大:抖音用户圈层基础信息表日增万级数据,圈层作者信息表日增百万数据,圈层用户信息表日增千万条左右数据,已经达到 MySQL 秒级千万级查询的性能瓶颈。

• 难以承接业务复杂的圈选条件:当前圈层架构较为简单且为区分查询场景,当业务需要较复杂的泛化圈选条件时,需要使用者在平台等待时间较长。

• 圈层标题维度多:当前圈层有越来越多的标签描述,由于不同业务方通过不同视角理解圈层,如垂类标签/圈层关键词描述/圈层质量分类/圈层画风等,目前圈层信息实体特征就达到几十种。

为了解决以上问题,技术团队逐步将底层存储引擎基于ByteHouse进行重构。ByteHouse是火山引擎推出的一款OLAP引擎,具备查询效率高的特点,在硬件需求上相对较低,且具有良好的水平扩展性,如果数据量进一步增长,还能通过增加服务器数量来提升处理能力。

MySQL与ByteHouse特性比较经过技术团队分析,兴趣圈层信息由模型生产,按时间分区批量导入;兴趣圈层特征多,业务方按照诉求对和自身业务相关的特征进行筛选,且圈层以统计分析为主,综合看来面向OLAP业务的ByteHouse是一款最合适的存储架构。

在一些典型兴趣圈层的查询场景中,比如“查询用户名为098765432123450(示例数据),关系为非高价值,作者名称带有“xx”的圈层信息”,MySQL的查询耗时为2524ms,而ByteHouse仅需102ms。

基于 ByteHouse 替换 MySQL 重构抖音兴趣圈层平台后,不同场景的查询效率平均提升了 100 倍左右,大大提升了使用者体验。由于 ByteHouse 出色的查询性能和良好的数据压缩比,中等资源的服务器就能很好的满足需求,这也降低了综合硬件成本。

随着大数据和实时计算技术的发展,使用者对推荐的实时性要求越来越高。ByteHouse具备高效的数据处理能力,进一步为推荐场景提供更强大的查询分析支持。

标签:

猜你喜欢

延保再升级!日立尊享VIP服务,315重磅上线
云知声入选“2023北京市数字经济标杆企业”
顺丰科技亮相2024 数智物流峰会,为重塑物流业未来助力
3i将携手神秘大咖 AWE现场演绎科技家电的“物理课”
设计界“奥斯卡”公布2024年获奖名单,祥承科技三款产品斩获2024 iF设计奖
“科创中国”解码新质生产力第一期:释放科技创新动能 引领新质生产力发展
乘云与AI之势 火山引擎加速推进西南地区数字化创新
优化境外来华人士支付服务 境外电子钱包CEO点赞新举措
知识管理有“模”力!百度智能云甄知平台通过信通院权威评测
e签宝城市峰会发布“签管一体化电子合同云平台”
数字经济再成政府工作报告热词 蔚领时代积极推动元宇宙产业发展进步!
高压氧舱今日信息差:氧压力高不等于氧中毒,小心别着了道!
脑怡维BrainesVital:全维守护大脑健康,延缓脑衰老
武汉聚焦低空城市治理,打造天地一体化智慧城市
致敬女性力量,传音TECNO在土耳其发布全新品牌故事片“Don’t Stop Loving”
创新海洋腐蚀防护 研发智能防污涂层
效率起飞!天翼云并行文件服务HPFS高效应对AI时代大模型训练存储挑战!
高度仿生细胞外基质支架 挑战再生医学成果转化
好心情2024年知识图谱编程技术高级研讨班盛大召开
诺贝尔奖作家古尔纳直播冲上热榜!经典作品在抖音电商上架
拥抱高效 三星Galaxy Tab S9系列为“她”开启办公新体验
引领新潮流!行业“颠覆者”BlinkMe(手机版)正式上新
“绿色能源管理创赢计划”第三季圆满收官
国产CRM的崛起:Salesforce下架后的企业新选择与优势分析
魏建军:带领长城汽车自研核心技术遍地开花,产品向高质量迈进
敢闯技术无人区,TCL实业即将亮相AWE 2024
技术突破与引领,中国品牌安吉尔扬帆出海
云游戏市场或现增长拐点,浮点智算成一站式云服务行业新标杆
探索前沿 测试为先
BOYA麦克风,吴昕力荐之选,38节活动引爆关注