2024 ASC世界大学生超级计算机竞赛（ASC24）已进入预赛阶段，通过预赛选拔的队伍将参加4月9日-13日在上海大学举行的总决赛。来自全球各地的300多支高校队伍正在挑战一道人工智能难题——大语言模型推理优化。参赛队伍需要基于LLaMA2-70B大模型构建推理引擎，考虑多种优化方法，实现高吞吐推理，直面大语言模型应用落地的考验。
目前生成式人工智能呈现“百模争秀”，随着大模型训练开发快速进展和应用逐步落地，对大模型推理性能和成本的优化已经受到业界高度重视。大模型落地面临的困难，一方面是大模型的结构决定了推理解码阶段计算效率低、难优化；另一方面，几百亿参数规模的大模型很难单卡部署，涉及多卡并行，需考虑通信开销。
为了让大学生认识到大模型推理的重要性，激发他们对这一领域的学习热情，ASC24超算竞赛设置了大模型推理赛题。要求参赛队伍基于流行的开源大语言模型LLaMA2，构建并优化推理引擎，在组委会提供的1万样本数据集上实现尽可能高的推理吞吐量。该模型具有700亿参数，需要使用并行计算，因此该赛题还将考察参赛队伍的并行优化能力。组委会鼓励参赛队伍充分考虑自身集群的架构特征，构建定制的高性能推理引擎。此外，为了防止参赛队伍仅关注低精度优化，只允许使用FP16或BF16精度。参赛学生需要在他们提交的优化方案中，详述推理过程、集群规格、优化方法以及取得的结果。要想在这道赛题中取得佳绩，各参赛队伍需要充分了解并掌握大模型常见的并行方法，并学习使用各种技术来优化推理过程。
大模型推理赛题专家、智源研究院大模型行业应用负责人周华表示，LLaMA2-70B大模型基于Transformer，其中自注意力模块对计算存储资源消耗最大，在算法软件实现、算子实现，甚至软硬件结合等多个层次可以进行大量的优化工作。大赛鼓励参赛队伍做更多更深的优化工作，将大模型的推理性能提升到极致，也期待竞赛中涌现出令人惊喜的高质量创新成果，未来顶尖人工智能科学家也许就来自本次参赛队伍当中。
大模型推理优化赛题，不但可以让参赛选手掌握大模型推理引擎的构建，探索更加有效的并行策略和推理加速技术，降低大模型应用落地难度，激发他们深度参与人工智能产业的热情，同时也预示着超级计算领域正在主动拥抱大模型，并将在大模型应用中发挥重要作用。
ASC世界大学生超级计算机竞赛（ASC Student Supercomputer Challenge）由中国发起组织，并得到亚洲及欧美相关专家和机构支持，旨在通过大赛平台推动各国及地区间超算青年人才交流和培养，提升超算应用水平和研发能力,发挥超算的科技驱动力，促进科技与产业创新。ASC超算大赛迄今已举行至第十一届，吸引来自全球六大洲上万名大学生报名参赛，是全球最大规模的大学生超算竞赛。
