这一创新玩法由网易24工作室联合网易伏羲AI实验室共同研发，作为全球首款游戏Copilot队友，该功能依托于最前沿的AI大模型推理技术，成功塑造了与真人玩家体验相媲美的AI队友。AI队友不仅能够自主执行跑图、搜索物资、参与战斗、跑圈等战术动作，更能在战斗中提供辅助和救援，通过自然语音与玩家进行双向无缝沟通。
《永劫无间》手游上线当日，网易伏羲AI技术负责人睿风应邀在「2024骁龙游戏技术赏」上发表演讲，首次公开分享《永劫无间》手游中语音AI队友的技术探索和应用成果。该活动为高通公司循例在ChinaJoy前夕举办的年度盛会，今年，高通公司携手网易伏羲等产业合作伙伴，共同探讨移动技术创新如何赋能前沿数字娱乐体验。
因演讲当日恰逢《永劫无间》手游公测上线，睿风无法到达现场，所以通过连线方式进行分享。以下是他的演讲实录：
大家好，我是来自网易伏羲的睿风，很高兴能够参加「骁龙游戏技术赏」。
（网易伏羲AI技术负责人睿风现场连线分享画面）
网易伏羲成立于2017年9月份，是国内第一个面向游戏行业进行AI研究的人工智能实验室，我们以“创建人工智能与游戏交叉领域的世界一流实验室”为宗旨，运用人工智能尖端技术为玩家营造新世代的游戏体验，同时也借助游戏平台的海量数据和仿真环境，推动人工智能技术的发展。
自2017年成立至今，网易伏羲已经在多款游戏中落地大量的AI玩法。例如我们在《逆水寒》端游中首创AI照片捏脸玩法和智能养育系统，在《永劫无间》端游中，我们上线了基于强化学习技术的噩梦人机玩法，利用AI反外挂技术定位和处罚违规玩家确保公平游戏环境。去年我们在现象级游戏《逆水寒》手游中落地了大量创新的AI应用，包括智能NPC、文字捏脸、大宋头条、UGC剧组模式等等，打造了全球首款AI游戏，也获得了玩家们的高度认可和欢迎。
今年，我们在今天正式上线的《永劫无间》手游中，率先发布了全球首创的语音AI队友玩法。在这个玩法中，玩家可以邀请智能AI队友进行一场完整的游戏体验。玩家可以通过语音交互的方式，直接跟AI进行交流。这个AI队友首先能听懂指挥，搜装送装、团战配合样样精通；其次能实时观察战况，汇报关键信息并答疑解惑；此外AI队友还具备强大的战斗能力，博弈强、配合好；最后该AI队友还能自由交流，给予玩家较高的情绪价值。
为了能实现这个能听、能说还能做的AI队友，网易伏羲基于多年的技术积累，结合语音识别、语义理解、文本生成、语音合成、强化学习、模仿学习等多项AI技术，解决了大量的技术难题。为了实现跟真人队友几乎无异的语音交互体验，我们给这个玩法设定了几个技术指标。
首先相比于唤醒词或手动按钮触发的交互方式，全开麦的实时语音交互对我们提出了更多的技术挑战，其中最核心的就是噪音检测和非交互内容识别的能力，为了尽可能降低误触率，我们使用网易伏羲的有灵众包平台，在开发期就采用自动数据闭环方式，通过持续采集各种机型和项目成员们的真实体验数据，不断优化模型效果。
其次，为了让AI能够精确识别玩家指令并做出最合理的行为决策，我们不仅引入了自然语言理解技术来提升指令识别能力，而且采用了基于指令的强化学习技术，让模型能够根据指令和实时的战场状态，做出最合理的行为决策，实现了尽可能遵循玩家指令的基础上，又保持较高强度的游戏能力。
最后，为了达到极低的交互体验速度，我们做了大量的工程优化工作。当前线上的实时响应时长最短可以实现300ms内的语音和行为响应，最长响应时长也能控制1s左右，从而实现了让交流不延迟，让配合更及时。
正如前面提到的，这个语音AI队友玩法对于时延非常敏感，为了给用户带来更极致的交互体验，伏羲跟高通进行了深入合作，将部分AI推理从云端GPU迁移到第三代骁龙8移动平台的NPU上。
为什么我们要去做端侧推理？首先就是低时延，相比于基于云的推理，端侧推理可以节省网络传输带来的时间延迟，特别是对于一些网络条件不太好的地区的玩家，这部分的时延降低带来的收益是非常可观的，从而给这部分玩家带来更好的游戏体验。其次从公司层面来说，AI推理从云端迁移到端侧，可以充分利用玩家的终端算力，降低服务运行成本。我们知道目前云端的GPU服务都是比较贵的，为了控制成本，很多AI服务都会对应用做一些使用限制或让玩家采用付费使用的方式，而端侧推理可以让这部分玩家自由地体验AI玩法。
当前在《永劫无间》手游的AI队友玩法中，网易伏羲跟高通已经迁移了部分AI能力到端侧，目前正在做更多深入合作。我们期望未来可以将更多AI能力，包括大语言模型（LLM），语音合成（TTS）等技术适配到手机终端，给玩家们带来更好的游戏体验。
