浪潮信息Owen ZHU:大模型百花齐放,算力效率决定速度

2023-09-01 10:45:51     来源:

与狭义的人工智能相比,通用人工智能通过跨领域、跨学科、跨任务和跨模态的大模型,能够满足更广泛的场景需求、实现更高程度的逻辑理解能力与使用工具能力。2023年,随着 LLM 大规模语言模型技术的不断突破,大模型为探索更高阶的通用人工智能带来了新的曙光通用人工智能进入了快速发展期,在中国,大模型已经呈现出百花齐放的态势,各种大模型层出不穷。

要想在“百模争秀”的时代占得先机,AI开发团队需要着力化解算力、算法、数据层面的巨大挑战,而开发效率和训练速度是保障大模型市场竞争力的核心关键因素,也是未来的核心发力点近日,浪潮信息人工智能与高性能应用软件部 AI 架构师Owen ZHU参与首届由CSDN、《新程序员》联合主办的NPCon大会,发表重要技术演讲,分享面向新一轮AIGC产业革命,AI大模型的算力系统解决之道,并强调算力、算法、数据和系统架构等多个方面的综合优化对大模型训练到了至关重要的作用。

以下为Owen ZHU在NPCon大会的演讲实录整理:

“百模争秀”时代的算力瓶颈

大模型研发的核心技术是由预训练与Alignment组成的,第一部分就是预训练,需要用大量的数据使模型收敛速度更快、性能更好。第二部分则是Alignment,Alignment不完全等于强化学习,其通过使用多种方式/策略优化模型输出,让AI在和人的交流反馈中学会如何沟通表达,这两部分是提升大模型质量的核心要素。

目前来看,模型基础能力取决于数据、模型参数量和算力。模型参数量越大、投入的训练数据越大,模型泛化能力越强。由于资源限制,在两者不可兼得的时候,应该如何进行取舍呢?OpenAI的研究结论认为,与增加数据量相比,先增大模型参数量受益则会更好,用一千亿的模型训练两千亿的Token和两千亿模型训练一千亿的Token,后者的模型性能会更高。

由此可见,参数量是衡量模型能力的一个重要指标,当模型参数量增长超过一定阈值时,模型能力表现出跃迁式的提升,表现出来语言理解能力、生成能力、逻辑推理能力等能力的显著提升,这也就是我们所说的模型的涌现能力。

模型规模多大能产生涌现能力呢?现在来看,百亿参数是模型具备涌现能力的门槛,千亿参数的模型具备较好的涌现能力。但这并不意味着模型规模就要上升到万亿规模级别的竞争,因为现有大模型并没有得到充分训练,如GPT-3的每个参数基本上只训练了1-2个Token,DeepMind的研究表明,如果把一个大模型训练充分,需要把每个参数量训练20个Token。所以,当前的很多千亿规模的大模型还需要用多10倍的数据进行训练,模型性能才能达到比较好的水平。

无论是提高模型参数量还是提升数据规模,算力依旧是大模型能力提升的核心驱动力:需要用“足够大”的算力,去支撑起“足够精准”模型泛化能力。当前大模型训练的算力当量还在进一步增大,从GPT-3到GPT-4算力当量增长了68倍。算力当量越大,交叉熵越小,模型能力越强。随着训练的token数、模型参数、计算量的增加,语言模型的loss在平滑下降,这就意味着大语言模型的精度可以随着计算量、参数规模、token数扩展进一步提升。

欲炼大模型,先利其器

大模型能力来源于大量工程实践经验,预训练的工程挑战巨大,这表现在如下几个方面:首先,AI大模型的演化对于集群的并行运算效率、片上存储、带宽、低延时的访存等也都提出了较高的需求,万卡AI平台的规划建设、性能调优、算力调度都是很难解决的难题;其次,大规模训练普遍存在硬件故障、梯度爆炸等小规模训练不会遇到的问题;再次,工程实践方面的缺乏导致企业难以在模型质量上实现快速提升。

作为最早布局大模型的企业之一,浪潮信息在业界率先推出了中文AI巨量模型“源1.0”,参数规模高达2457亿。千亿参数规模的大模型创新实践,使得浪潮信息在大模型领域积累了实战技术经验并拥有专业的研发团队,为业界提供AI算力系统参考设计。在算力效率层面,针对大模型训练中存在计算模式复杂,算力集群性能较低的情况,源1.0在大规模分布式训练中采用了张量并行、流水线并行和数据并行的三维并行策略,训练耗时约15天,共计训练了180 billion token,并将模型最后的loss值收敛至1.73,显著低于GPT-3等业界其他语言模型。首次提出面向效率和精度优化的大模型结构协同设计方法,围绕深度学习框架、训练集群IO、通信开展了深入优化,在仅采用2x200G互联的情况下,源1.0的算力效率达到45%,算力效率世界领先。在集群高速互联层面,基于原生RDMA实现整个集群的全线速组网,并对网络拓扑进行优化,可以有效消除混合计算的计算瓶颈,确保集群在大模型训练时始终处于最佳状态。

为大模型良好生态发展寻找最优解

当前,中国和业界先进水平大模型的算力差距依然较大,从算力当量来看,GPT-4的算力当量已经达到了248,842PD,而国内大多数主流的大模型算力大量仅为数千PD,差距高达近百倍。

同时,中国和业界先进水平大模型在算法、数据方面也存在巨大差距。在算法方面,虽然开源为国内大模型发展带来了弯道超车的良机,但LLaMA等开源大模型相比GPT4等顶级水平自研模型的性能,开源模型的能力存在“天花板”。

在数据方面,中文数据集和英文数据集相比较,在规模、质量上均存在显著差距,相较于动辄数千亿单词量级的英文数据,中文大模型的数据量级仅为百亿左右,而且开源程度较低,封闭程度较高。

开发大模型、发展通用人工智能是一项非常复杂的系统工程,我们亟需从系统层面为未来大模型的良好生态发展寻找最优解。从实战中走来,通过构建高效稳定的智算系统,加速模型开发效率提升。

日前,浪潮信息大模型智算软件栈OGAI(Open GenAI Infra)——“元脑生智“已正式发布。浪潮信息正通过“工具化、系统化、全链条”的全栈赋能能力,让炼大模型省时、省力,让大模型更快、更稳、更智能,助力百模真正实现“竞速AIGC”

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。

标签:

猜你喜欢

QQ音乐上线《听见“听不见”的音乐》第二季公益专辑 首次推出听力适配低频音乐技术
抖音推出知识公开课内容扶持计划,面向高校学者征集优质知识直播
叮当快药APP蝉联2023上半年度医药APP排行榜榜首,重塑健康服务新格局
专访BrainCo韩璧丞:未来脑机会比手机更多,但我们会比赛博朋克更优雅
亿图图示PC端V12.6.0支持AI一键绘制10种专业图表,让绘图更加简单高效
再获殊荣!爱旭股份摘得“维科杯·OFweek 2023超高效光伏电池奖”
华为Vision智慧屏 SE3全新上市:智慧越级,重新定义年轻人潮玩社交新生活
第一财经《直击引领区》:科大讯飞AI助力老年人享受数字化红利
斩获“金鼎”!银河麒麟操作系统支撑金融业深化数字化转型
近百个赛队选择麒麟操作系统赛题!2023全国大学生计算机系统能力大赛圆满收官
云砺(票易通)&微众银行“数电票”分享沙龙圆满结束,共建银企数字合作新关系
看好硅碳负极创新赛道 千乘携手和创助力锂电产业提速增效
SKG与龙脊康战略合作,双重赋能推动技术和体验双升级
博奥真心益维成为血管的“扫地工”,成就你的健康之路
博奥真心益维抗击心血管衰老,满足人们对健康的追求
博奥真心益维激活人体自身溶栓能力,从内里提升活力
博奥真心益维靶向心络抗衰,改善心血管拥堵
“撕开”酱酒市场新入口,疆图酱酒凭什么实力破圈
TIMESHOP益生好怎么样?益生好以高性价比造福更多抗衰人士
香港人工智能营销平台LAZi Ai ,逾6000人登记试用
持续提升客户幸福感,移动云客户权益体系全新升级
港澳项目与大咖汇聚,引爆莞港双创合作热潮
“微魔方”颠覆微蒸烤技术,“新厨电”重构厨居生活——新厨电代表品牌凯度靠的是什么?
数禾科技受邀参编国内首个金融行业大模型标准制定
2023年828 B2B企业节·东莞站暨工业软件创新应用大赛正式开幕
新壹科技上榜创业邦“2023值得关注AIGC百强公司”
一文读懂青云科技KubeSphere 企业版 4.0
VMware携手IBM,加速客户的工作负载现代化之旅
风正时济,破浪新航 双华数字健康产业园政校院企交流沙龙即将召开!
推动安防智慧化转型,道通智能无人机亮相第九届中国-亚欧安防博览会