腾讯郑亚峰:打造大模型时代的网络“高速公路”

2023-08-21 10:04:40     来源:

随着大模型相关应用的加速落地,整个行业对算力革命的需求日益迫切。然而,提升算力并非仅靠堆砌GPU就能实现,网络基础设施在其中起着关键作用。近期,腾讯云副总裁郑亚峰深入探讨了大模型时代腾讯在高性能计算网络方面的布局。

当前,大模型参数量动辄达到万亿级别,背后是庞大数量的GPU,这些GPU需要通过算力集群协同完成计算任务。郑亚峰指出,在GPU集群之间的数据交换与通信都依赖网络承接。如果网络带宽不足,延时过长,将导致算力边际递减,反而增加大模型训练的时间成本。因此,具有大带宽、高利用率且信息无损的高性能网络对于当前算力提升至关重要。

郑亚峰以“高速公路”为比喻,形象地描述了业内对计算网络的期待。他强调,在大模型时代,“无拥塞”尤为关键,因为网络堵塞不仅降低大模型训练效率,还可能导致算力损失。为解决这一问题,腾讯云在高性能RDMA网络和网络协议方面进行了深入研究。

首先是腾讯自研的星脉RDMA网络。RDMA是一种高性能、低延迟的网络通信技术,主要应用于数据中心高性能计算。它允许计算节点之间直接通过GPU进行数据传输,无需操作系统内核和CPU参与。这种数据传输方法显著提高吞吐量并降低延迟,使计算节点间通信更高效。

其次是腾讯自研的网络协议TiTa。网络协议是计算节点间传输数据的规则和标准,关注数据传输的控制方式。在大模型训练中,传统网络协议由于固有设计和性能限制,难以满足无损、超大带宽的要求,甚至需要优化数据的“交通规则”。

郑亚峰表示,腾讯云通过自研TiTa协议,颠覆了传统网络“交通规则”,实现了数据交换的无拥塞、低时延,使星脉网络可在90%负载下实现0丢包。TiTa协议内嵌拥塞控制算法,实时监控网络状态并进行通信优化,使数据传输更流畅且延迟降低。

此外,郑亚峰还介绍了星脉网络所搭载的自研白盒交换机以及端到端全栈网络运营系统。这些技术进一步提高了星脉网络的高可用性,缩短了大模型训练系统的部署时间,保证了基础配置的准确性,并显著降低了系统故障排查和自愈的时间。

同时,为了让这条高速公路更宽阔,星脉网络基于腾讯云新一代算力集群HCC,可支持最大10万卡的超大计算规模,满足业务所需。

“为大模型而生的星脉网络,能让算力利用率更高,从而进一步释放AI潜能。与此同时,星脉网络也将继续升级迭代,帮助各行各业加速大模型技术的升级和应用落地。”郑亚峰总结道。

根据实测,星脉实现了AI大模型通信性能的10倍提升、GPU利用率提升40%、通信时延降低40%。日前,腾讯云发布的新一代HCC高性能计算集群,正是基于星脉高性能网络打造,算力性能较前代提升3倍,为AI大模型训练构筑了可靠的高性能网络底座。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。

标签:

猜你喜欢

2023智慧交通与智能汽车(昆明)国际论坛在昆举行
全国规模最大!中国移动联合产业各方开启算力并网行动
香港保安局局长邓炳强一行前往微博总部访问交流
共创算力新时代 | 华为亮相2023中国算力大会
2023中国算力大会·全光品质运力分论坛在银川成功举办
联想联萌公益模式进入3.0时代 集社会力量共创绿色公益生态
51WORLD地球克隆计划6大会:开启克隆地球下半场,重磅发布产品矩阵及创新迭代!
华为周军:全光品质运力网络,释放算力无限潜能
华为周义林:智算集成新服务,加速AI价值全新释放
倪光南院士:加强网络核心技术自主创新,实现算存运高效协同
实力见证!华为数据中心网络亮相2023算力大会,斩获双料大奖
酷喵x海尔联合打造中轴线3000平影厅,“软硬一体”智慧家庭大屏方案实现顶级视听盛宴
宁夏移动:率先实现“算力+语料+模型+训练”一体化服务能力
“华彩杯”算力应用创新大赛西区决赛颁奖典礼于2023中国算力大会举行,数据中心智能能效优化方案斩获殊荣
博尔捷数字科技集团2023年企业招聘指数报告发布
相约BIRTV2023科技“秀场”,感受华为“智简融媒”新体验
广东省委常委、副省长王曦参观第十一届“省长杯”数字创意与信息服务类专项赛优秀作品
圆周率科技品牌生态塑造 推出细分领域新品牌PanoX全景时光
强强联手,“美的-巴斯夫洗涤技术联合实验室”正式启动
共创算力新时代|华为数据中心能源亮相2023中国算力大会
荣耀MagicBook 14 2023 32GB预售开启,轻薄本进入大内存时代
 宁德时代第二座全资零碳工厂落地,亲身践行“绿水青山就是金山银山”
华为云三大案例入选《2023中国数字化转型优秀方案集》,政务云能力再获权威认可
有惊无险!华为服务人员帮我找回物资调配信息
军武旗下野路子等 荣获华为开发者大会2023“优秀知识内容伙伴”奖项
为行业发展建言献策,网易云信深度参与中国信通院《企业直播平台系列标准》制定
联想828优惠公布:服务3折,爆品5折,买PC即有机会兑换超大杯茶百道
沈阳、大连“国家新一代人工智能公共算力开放创新平台”正式揭牌
这个七夕,柚你真好YOOMOON只谈情趣不谈爱
中国联通“大模型时代下的AI算力新基建”分论坛成果丰硕