浪潮信息助力淮海智算中心,千亿参数AI大模型训练算力效率超50%

2023-02-20 16:33:44     来源:

近日,淮海智算中心携手浪潮信息进行了超大规模参数AI大模型训练性能测试,实测数据表明,千亿参数规模的自然语言AI单体大模型在淮海智算中心计算平台上的训练算力效率达53.5%,刷新了业内AI大模型训练算力效率新高。这意味着淮海智算中心将可为国内生成式AI创新团队提供高性能、高效率的AI大模型训练算力服务。

生成式AI需要基于海量的自然语言或多模态数据集,对拥有巨大参数的超大规模AI模型进行训练,其训练所需AI算力当量非常高,如以PD(Petaflops-Day)为单位来衡量,OpenAI的GPT-3大模型训练的算力当量为3640PD,而浪潮“源1.0”大模型的算力当量则为4095PD。

超大规模AI大模型的训练一般必须在拥有成百上千加速卡的AI服务器集群上进行,如何在AI计算集群上获得更高的训练算力效率则会直接影响到模型训练时长以及算力消耗成本,这对于提升生成式AI研发创新效率有着非常重要的影响。据公开资料表明,GPT-3大模型在其V100 GPU集群上的训练算力效率为21.3%,而浪潮“源1.0”的训练算力效率则达到了44.8%。

针对AI大模型训练的计算特点,浪潮信息AI团队对淮海智算中心算力系统进行了专业设计,对集群架构、高速互联、算力调度等方面进行全面优化,在系统架构上,采用单节点集成8颗加速器的AI服务器,节点内加速器间实现超高速P2P通信,节点间建立极低延迟、超高带宽的Infiniband通信网络。在大模型训练技术层面,成功运用了中文巨量AI模型“源1.0”的训练优化经验,对分布式训练策略进行了针对性优化,通过合理设计张量并行、流水并行和数据并行,精准调整模型结构和训练过程的超参数,最终实现了千亿参数规模AI大模型的训练算力效率达到53.5%。

千亿参数AI模型结构及其实际性能表现

淮海智算中心由安徽省宿州市与浪潮共同推进建设,目标是建成技术先进、架构开放、应用丰富、生态完善的国内领先智算枢纽。淮海智算中心将依靠领先的算力、算法基础设施,开放的技术架构,成熟丰富的生态应用,面向全国提供智能算力、数据和算法服务,打造良好的智算产业生态。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。

标签:

猜你喜欢

【科技有感 让爱有感】这个春天 美的陪你一起 敢爱更感爱!
华为将携十大全新解决方案亮相MWC23,高效使能全频段走向5G
向等待说再见,霄云科技用创新化解医疗应用难题
特别直播|数字档案如何驱动新增长?整个3月来分享
众库科技、团采茶业创始人邓翔受邀出席外资企业座谈会
以科技服务成渝经济圈 引智创策享保鲜新技术
行业首个!有驾用实测告诉你汽车主动安全能否化解两轮车+“鬼探头”考验
苏宁易购集团高级副总裁侯恩龙一行参访东莞金鸿盛,开启合作新篇章
“深马”又添黑科技,让“跑友”跑得更安心
从超级碗看2023年营销新趋势:上下文广告撬动超级流量
YY2022年度巅峰盛典将于2月26日落地杭州
驾驭好数字化转型的三驾马车,盈天地提供全渠道闭环金融服务
ChatGPT风口下的技术“狂飙”,天翼云荣登ZeroCLUE榜首
66印携手WPS,联合推出手机移动端云打印服务解决方案
女性益生菌什么牌子好?关键看这两点
签约印尼传奇明星AGNEZ MO,得力全球化战略再提速
全球数据可视化大赛在阿联酋迪拜举办
产业带在抖音电商找到新机会
慧示触控模组惊艳登场,带来大屏触控的极致视听体验
星环科技ArgoDB助力农商行实现Teradata国产化替代,综合成效比提升14倍
AIGC拐点已至!中文在线携手澜舟科技掀起未来内容的范式革命
开学入手新机,40系主机最佳伴侣当然是蚂蚁电竞 M27QK 240Hz高刷显示器
新冠每日新增5000例以上 鼻精灵等洗鼻产品或成防护刚需
23考研出分在即,24马理论考研如何备考?行业专家这样说
TCL华星受邀参加印刷显示产业化与产业链发展技术研讨会,共促印刷显示新发展
专访刘驰| 深挖大数据“富矿” 作好产学研融合“文章”
世纪华通亮相元宇宙大会:以游戏化经营“人场物” 游戏人是建设文旅元宇宙的不二人选
数字化改革,赋能地灾防治开辟新跑道
解放高算力 | 锐捷网络携液冷交换机亮相液冷论坛
2023未来健康论坛圆满落幕,余杭初现数字医疗未来版图