摩尔线程携手无问芯穹:基于夸娥千卡智算集群的“MT-infini-3B”大模型实训已完成

2024-05-27 12:57:34     来源:

摩尔线程联合无问芯穹宣布,双方在近日正式完成基于国产全功能GPU千卡集群的3B规模大模型实训。该模型名为“MT-infini-3B”,在摩尔线程夸娥(KUAE)千卡智算集群与无问芯穹AIStudio PaaS平台(https://cloud.infini-ai.com/aistudio)上完成了高效稳定的训练。本次实训充分验证了夸娥千卡智算集群在大模型训练场景下的可靠性,同时也在行业内率先开启了国产大语言模型与国产GPU千卡智算集群深度合作的新范式。

MT-infini-3B模型训练总用时13.2天,经过精度调试,实现全程稳定训练不中断,集群训练稳定性达到100%,千卡训练和单机相比扩展效率超过90%。目前,实训出来的MT-infini-3B性能在同规模模型中跻身前列,相比在国际主流硬件上训练而成的其他模型,在C-Eval,MMLU,CMMLU等3个测试集上均实现性能领先。

MT-infini-3B性能表现

无问芯穹联合创始人兼CEO夏立雪表示:“国内大模型与国产芯片的软硬件协同发展,最终目标是构建一个成熟的生态系统。无问芯穹正在打造‘M种模型’和‘N种芯片’间的‘M×N’中间层产品,实现多种大模型算法在多元芯片上的高效、统一部署。摩尔线程是第一家接入无问芯穹并进行千卡级别大模型训练的国产GPU公司,而‘MT-infini-3B’的训练是行业内首次实现基于国产GPU芯片从0到1的端到端大模型实训案例。”

摩尔线程创始人兼CEO张建中表示:“无问芯穹在夸娥千卡智算集群上实现的从零开始的大模型训练,不仅是对摩尔线程技术实力的有力认证,更是实现了国内大模型训练的国产化闭环。摩尔线程夸娥千卡智算集群以全功能GPU为底座,提供软硬一体化的全栈解决方案,具备高兼容性、高稳定性、高扩展性等综合优势,我们致力于成为AGI时代大模型训练坚实可靠的先进基础设施。”

此前,摩尔线程与无问芯穹已达成深度战略合作。无问芯穹大模型开发与服务平台“无穹Infini-AI”和摩尔线程大模型智算千卡集群夸娥已完成系统级融合适配,该平台可以灵活调用夸娥的集群能力以完成大模型的训练、微调与推理任务。未来,双方还将开展更多适配与测试,推动国产大模型技术的快速发展与应用普及,为中国人工智能产业的蓬勃发展贡献力量。

+++

关于无问芯穹

无问芯穹(Infinigence AI)依托行业领先且经过验证的AI计算优化能力与算力解决方案,追求大模型落地的极致能效。打造“M种模型”和“N种芯片”间的“M×N”中间层产品,实现多种大模型算法在多元芯片上的高效、统一部署。链接上下游,共建AGI时代大模型基础设施,加速AGI落地千行百业。

关于摩尔线程

摩尔线程是一家以全功能GPU芯片设计为主的集成电路高科技公司,能够为广泛的科技生态合作伙伴提供强大的计算加速能力,致力于打造为下一代互联网提供多元算力的元计算平台。

 

标签:

猜你喜欢

全球首款智能背膘机器人“智探者”正式发布
即刻扬帆应急队伍能力建设培训(火灾模拟逃生专项)第二期正式启动
科大讯飞聂小林:直面智能时代机遇与挑战,推动出版人才培养跨越式发展
图灵看护荣获中邮科优秀战略合作伙伴称号,共绘智慧未来
从米博无布洗地机看爱的简单之道
视源股份携教育、会议大模型亮相深圳“文博会” 寻找大模型蓝海的“新航路”
智慧互通(AICT)获批设立博士后科研工作站,大力推动AI产学研深度融合
锐捷网络与您相约第七届数字中国建设峰会 共话数字未来
硬核科技赋能文化产业,光峰科技应邀出席第二十届文博会
再创斐然佳绩!360智慧商业载誉“金鼠标” 荣膺两项大奖!
半年开新170余家,全品类社区牛肉店“肉奇戊语”究竟是什么来头?
和包支付与微信支付实现商户收款码互联互通
AI+中国移动APP,让10亿用户共享AI的科技力量!
英菲克推出听力考试耳机,助力四六级考生通关无忧!
天翼企业云盘、安全邮箱携信创能力亮相24年福州云生态大会
九周年|萨摩耶云科技集团“为AI蓄能 持9发电”
中国电信董事长柯瑞文:天翼云作为国家云已经越过向智能云发展的拐点
抖音电商“遇见好国货”提供新机遇,国货品牌创新迭代吸引年轻客群
KVASER(克萨)宣布全球品牌焕新,以“连接无限可能”为愿景,开启设备通讯领域新篇章
从研发到智造,看美的电饭煲30周年背后的硬核实力
中国移动咪咕联合智象未来发布:首个国民级AIGC视频彩铃应用“AI一语成片”
比瓴联合发起 《金融科技软件供应链供需安全管理指南》团标发布
智汇云舟荣获2024数字中国创新大赛·数字城市赛道金奖
华为发布“城市一张网2.0”总体架构,助力“一网通城”,释放城市数据及算力潜能
华为星闪系列产品亮相第七届数字中国建设峰会 新一代无线短距通信技术赋能千行万业
华为联合国家发展改革委创新驱动发展中心发布《企业数字化转型投入产出关系研究报告》
数字中国建设峰会盛大开幕,TECH4ALL助力数字生态文明
首届“瘦西湖”智慧能源创新论坛即将举行
国云注智 聚力向新|第七届数字中国建设峰会•智算云生态大会成功举办
国字号展会丨海信亮相第七届数字中国建设峰会 数字科技助力数字中国