《永劫无间》手游正式开服!网易伏羲揭秘语音AI队友背后的黑科技

2024-07-26 15:42:50     来源:

7月25日,备受期待的《永劫无间》手游正式开启公测,该手游预下载阶段便荣登App Store免费总榜TOP1!游戏中全新引入的语音AI队友功能,迅速吸引了广大玩家的关注和好评。

这一创新玩法由网易24工作室联合网易伏羲AI实验室共同研发,作为全球首款游戏Copilot队友,该功能依托于最前沿的AI大模型推理技术,成功塑造了与真人玩家体验相媲美的AI队友。AI队友不仅能够自主执行跑图、搜索物资、参与战斗、跑圈等战术动作,更能在战斗中提供辅助和救援,通过自然语音与玩家进行双向无缝沟通。

image.png

《永劫无间》手游上线当日,网易伏羲AI技术负责人睿风应邀在「2024骁龙游戏技术赏」上发表演讲,首次公开分享《永劫无间》手游中语音AI队友的技术探索和应用成果。该活动为高通公司循例在ChinaJoy前夕举办的年度盛会,今年,高通公司携手网易伏羲等产业合作伙伴,共同探讨移动技术创新如何赋能前沿数字娱乐体验。

因演讲当日恰逢《永劫无间》手游公测上线,睿风无法到达现场,所以通过连线方式进行分享。以下是他的演讲实录:

大家好,我是来自网易伏羲的睿风,很高兴能够参加「骁龙游戏技术赏」。

image.png

(网易伏羲AI技术负责人睿风现场连线分享画面)

网易伏羲成立于2017年9月份,是国内第一个面向游戏行业进行AI研究的人工智能实验室,我们以“创建人工智能与游戏交叉领域的世界一流实验室”为宗旨,运用人工智能尖端技术为玩家营造新世代的游戏体验,同时也借助游戏平台的海量数据和仿真环境,推动人工智能技术的发展。

自2017年成立至今,网易伏羲已经在多款游戏中落地大量的AI玩法。例如我们在《逆水寒》端游中首创AI照片捏脸玩法和智能养育系统,在《永劫无间》端游中,我们上线了基于强化学习技术的噩梦人机玩法,利用AI反外挂技术定位和处罚违规玩家确保公平游戏环境。去年我们在现象级游戏《逆水寒》手游中落地了大量创新的AI应用,包括智能NPC、文字捏脸、大宋头条、UGC剧组模式等等,打造了全球首款AI游戏,也获得了玩家们的高度认可和欢迎。

今年,我们在今天正式上线的《永劫无间》手游中,率先发布了全球首创的语音AI队友玩法。在这个玩法中,玩家可以邀请智能AI队友进行一场完整的游戏体验。玩家可以通过语音交互的方式,直接跟AI进行交流。这个AI队友首先能听懂指挥,搜装送装、团战配合样样精通;其次能实时观察战况,汇报关键信息并答疑解惑;此外AI队友还具备强大的战斗能力,博弈强、配合好;最后该AI队友还能自由交流,给予玩家较高的情绪价值。

为了能实现这个能听、能说还能做的AI队友,网易伏羲基于多年的技术积累,结合语音识别、语义理解、文本生成、语音合成、强化学习、模仿学习等多项AI技术,解决了大量的技术难题。为了实现跟真人队友几乎无异的语音交互体验,我们给这个玩法设定了几个技术指标。

首先相比于唤醒词或手动按钮触发的交互方式,全开麦的实时语音交互对我们提出了更多的技术挑战,其中最核心的就是噪音检测和非交互内容识别的能力,为了尽可能降低误触率,我们使用网易伏羲的有灵众包平台,在开发期就采用自动数据闭环方式,通过持续采集各种机型和项目成员们的真实体验数据,不断优化模型效果。

其次,为了让AI能够精确识别玩家指令并做出最合理的行为决策,我们不仅引入了自然语言理解技术来提升指令识别能力,而且采用了基于指令的强化学习技术,让模型能够根据指令和实时的战场状态,做出最合理的行为决策,实现了尽可能遵循玩家指令的基础上,又保持较高强度的游戏能力。

最后,为了达到极低的交互体验速度,我们做了大量的工程优化工作。当前线上的实时响应时长最短可以实现300ms内的语音和行为响应,最长响应时长也能控制1s左右,从而实现了让交流不延迟,让配合更及时。

正如前面提到的,这个语音AI队友玩法对于时延非常敏感,为了给用户带来更极致的交互体验,伏羲跟高通进行了深入合作,将部分AI推理从云端GPU迁移到第三代骁龙8移动平台的NPU上。

为什么我们要去做端侧推理?首先就是低时延,相比于基于云的推理,端侧推理可以节省网络传输带来的时间延迟,特别是对于一些网络条件不太好的地区的玩家,这部分的时延降低带来的收益是非常可观的,从而给这部分玩家带来更好的游戏体验。其次从公司层面来说,AI推理从云端迁移到端侧,可以充分利用玩家的终端算力,降低服务运行成本。我们知道目前云端的GPU服务都是比较贵的,为了控制成本,很多AI服务都会对应用做一些使用限制或让玩家采用付费使用的方式,而端侧推理可以让这部分玩家自由地体验AI玩法。

当前在《永劫无间》手游的AI队友玩法中,网易伏羲跟高通已经迁移了部分AI能力到端侧,目前正在做更多深入合作。我们期望未来可以将更多AI能力,包括大语言模型(LLM),语音合成(TTS)等技术适配到手机终端,给玩家们带来更好的游戏体验。

 

标签:

猜你喜欢

第二届IPv6技术应用创新大赛赛题赛道介绍
2024首届人工智能先进技术成果供需对接大会成果展今起举行 打造人工智能科技盛宴
哑光屏显贴墙才美:创维新一代壁纸电视A7E系列上市,达人现场评测产品实力
到手399还送终身会员!AI硬件新宠BubblePal 7月30日正式开售
移动的工作站:猛玛通话传声1000漫游版
时隔78年,抖音寻人助力河南籍赴台老兵骨灰返乡
《永劫无间》手游开服!上号与AI队友一起畅玩
深层互联重磅发布,潮流开放式导游一对多无线讲解器
智谱OpenDay「大有可玩」:30秒将任意文字生成视频,一起来 「玩」
极端天气频发,墨迹天气气象预报功能为你的出行保驾护航
引爆暑期“云研学”的《自然学院林》如何领跑“寓教于乐”赛道?
探索 AI 电影未来:FilmAction 2024 发布会在京举办
看得见的品牌蝶变:宏碁荣获麒麟广告“年度杰出品牌奖”
测试口碑爆棚 多家媒体力荐《帝国神话》国服
应对极端天气挑战,墨迹天气以科技力量助力用户防范灾害风险
顺丰国际市场新突破!英国伦敦至中国“门到门”快递服务来了
光彩长宏集团与国数联仁携手,共启智慧城市康养新篇章
从“软件质量”看近期大规模蓝屏事件
5人天即可完成AI语音播报开发,还免费调用!鸿蒙原生智能加速新浪新闻创新升级
零门槛、双赛道、工程师认证!阿里云天池大学生竞赛今日开启招募
2024年数字化转型服务能力提升暨数字专员专题培训班第十四期成功举办
「C位观察」AI 2.0革命:产业视角下生成式AI如何落地
马斯克宣布年底训练出最强AI, 人类对硅基智能探索再进一步|快递100观点
重大突破!首款 AI 精华液在香港问世
SmallRig斯莫格发布《影像行业通用结构合集1.0》引领影像行业标准化建设
斩获国际双料大奖,华为微波2T E-band ODU XMC-80D荣获行业权威认可
汇聚数字智慧 构建新质未来——《CMG数字中国》融媒体节目正式上线
“从‘芯’构建未来-点亮非洲”大会在金华成功举办
从芯到魂,国产操作系统助推AI PC国产化
过去一年抖音电商达人带货总销售额同比增长43%