用AI改编世界 智影数字人亮相2023年腾讯青少年科学小会

2023-08-21 11:35:10     来源:

置身于充满科技魅力的“舰队指挥室”,腾讯集团市场与公关副总裁、腾讯青年发展委员会副主席李航的数字人分身揭秘即将开始的活动亮点;作为中国科学院计算技术研究所研究员、电视剧《三体》、电影《流浪地球2》的科学顾问,王元卓与数字人“王元卓”展开一场关于“数字生命体”的探讨,将科幻梦想带入现实,和大家共同探寻那个充满奇妙的科学世界。

这些精彩场景均来自第五届腾讯青少年科学小会,该活动由清华大学、中国宋庆龄基金会、腾讯公司共同举办。在AI浪潮席卷全球的当下,本届活动以“用AI改编世界”为主题,荟集科研机构、高等院校、AI业界的科学家,为全国青少年量身定制了“AI探索一日之旅”,上述这些充满科技氛围的数字人现场展示是由AI智能创作助手腾讯智影提供的技术支持。

腾讯自研AI 推动数字人技术普及

据了解,数字人“李航”和“王元卓”是腾讯智影基于他们真人为原型打造的。依托腾讯自研AI能力,腾讯智影仅采集了李航和王元卓本人录制的3分钟视频,即快速生成他们的数字人分身。在现场可以看到,他们的数字人分身不仅外形高度逼真,其说话时的语音、语调、唇动,还有招牌性的表情和习惯性动作,也都与真人如出一辙,相似度高达98%。

数字人可以通过文本和语音输入两种方式进行驱动,快速生成播报视频,操作高效便捷。王元卓表示,数字人可以作为他的分身去表达观点、答疑解惑,帮助他高效完成课件制作、科普内容创作和参会视频录制等繁复的工作,并在活动现场演示了“数字人”王元卓在不同场景下的“分身有术”,比如在直播时与观众互动,去乡村地区给孩子们进行科普讲座等。这些节省出来的时间和精力可以让他有更多时间思考,去做更有创造性的事情。

“为了实现高质量且高效的数字人定制,智影数字人需要同时进行形象克隆和音色复刻。通过端到端的StyleTTV(Text to Video)合成框架系统,结合腾讯智影云端视频创作平台的各种辅助功能,实现一键式‘输入即所得’的数字人多模态合成和视频生成。”腾讯智影技术负责人介绍。

为实现逼真的真人形象,智影数字人通过人脸检测算法对用户视频中的面部关键点(如眼睛、嘴巴、鼻子等)进行分析,进而进行3D建模以生成面部训练模型。同时,通过建立面部关键点与视频中语音的对应关系,智影能够创建个人唇形库。基于智影自有的大规模唇形预训练模型,通过语音识别(ASR)模型提取个人声学参数,将其与唇形库进行匹配,从而训练出能够从声音预测匹配唇形的定制化唇形模型,实现对说话人口型的预测,再将唇部模型与面部模型相结合,便能成功“克隆”出一个与真人极为相似的形象。

接下来是音色复刻,主要包括音色定制和语音合成两个部分。智影AI将人声拆解为三个元素:口音、音色和韵律。在数字人的生成过程中,智影基于自研声学模型,按照人类讲话时的声音逐帧记录声学参数和对应波形,实现音色和韵律的数字化建模。结合编码器进行口音控制,智影能够准确识别用户读某个字的声音特点。这样不仅确保音色的高保真度,还能实现不同发音人的韵律模型和音色模型的自由组合搭配,同时支持口音和特色方言的选择与控制。

除此之外,为了让数字人在说话时具备与真人相似的情感表达,还需要借助NLP(自然语言处理)模型。当用户输入文本后,智影能够通过NLP模型分析文本内容,预测真人在说话时相应的韵律、节奏、语气和情绪。这使得数字人也能拥有丰富的韵律节奏和情感表达,使其语言表达风格更加接近真人,并能满足不同场景和情境的需求。

智影数字人在多行业实现开创性应用

智影数字人凭借多年行业深耕的技术积累,不仅在腾讯科学小会上展示了在科普领域的应用价值,还在多个行业都有开创性的应用,例如推出首个AI新闻主播、AI气象主持人、AI营养师、AI数字人法官、AI手语合成主播等等。腾讯智影通过不断降低数字人使用门槛,推进实现数字人内容创作的大众化、智能化及规模化应用。

在传媒领域,腾讯智影与人民日报新媒体合作推出了数字人主播“任小融”,为大家带来充满互动感的两会新闻播报;与上海人民广播电台长三角之声共同打造了“长小姣”和“黄大帅”两位虚拟主播。这些虚拟数字人主播不仅突破了时空限制,推动了媒体内容生产流程的重塑和革新,还以专业且不输真人的表现,为观众带来个性化定制的新闻播报体验。

智影数字人技术在医疗领域同样发挥着重要作用。腾讯智影为首都医科大学附属复兴医院月坛社区卫生服务中心的孙艳格医生制作了数字人分身,帮助老年患者看得清用药说明书。这一创新解决方案提高了老年患者的用药安全,同时为药品说明书适老化的低成本改造提供了一种新思路。

此外,腾讯智影数字人还能实现7*24小时的无人干预内容直播,大大节省了人工开播的成本和精力。在直播过程中,还可以进行互动问答,随时切换至真人或由真人语音接管。另外,依托自研手语翻译系统,腾讯智影打造了全球首个AI手语数字人主播。秉承腾讯公司的科技向善理念,为冬奥会和王者荣耀KPL比赛提供手语数字人支持,为听障人士进行赛事报道和解说。

本次科学小会通过利用腾讯AI技术和产品能力,为青少年打造可沉浸式感知AI魅力的现场舞台、提供AI实践产品和平台。除了感受智影数字人跨越虚拟与现实边界的体验,青少年们还能用“了不起的甲骨文”小程序,了解甲骨文及汉字的演变历史;在“AI编程第一课”小程序上体验“AI作曲”等等。这些充满想象的技术,不仅充分展示了AI在改变世界的无限可能,也将引导青少年在日常生活中善用AI解决问题、创新创造,培养科技能力,追梦未来。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。

标签:

猜你喜欢

核聚变北京站9月回归,八位堂携新品闪亮登场
控制肥胖,健康生活,元气因助力机体抗衰
保持良好免疫力,若返NPC元气因抵御衰老侵袭
2023智慧交通与智能汽车(昆明)国际论坛在昆举行
打造数字驱动新增长模式,中国移动发布六大最新算网成果
腾讯郑亚峰:打造大模型时代的网络“高速公路”
华凌潮电神装竞技馆燃动全城 ,斗罗魂师组队齐聚广州琶醍
集翔网企业加速平台正式发布,陪跑企业高速增长高质量发展!
引领零售数智化升级,华为云数智新消费创新峰会2023成功举办
升学e网通搭建全新智慧心育平台,入选2023年度智慧教育优秀案例
编织美好生活!日立中央空调与8城昱粉共探家的学问
蓝思科技上半年净利增近3倍,降本增效成果显著
vivo亮相蔡司启迪未来探索者活动 展示双方联合创新成果
云上创新 生态共建,华为云发布“零售数字化加速伙伴计划”
华为云盘古大模型零售行业联创计划发布,助力行业数智化升级
全国规模最大!中国移动联合产业各方开启算力并网行动
香港保安局局长邓炳强一行前往微博总部访问交流
共创算力新时代 | 华为亮相2023中国算力大会
2023中国算力大会·全光品质运力分论坛在银川成功举办
联想联萌公益模式进入3.0时代 集社会力量共创绿色公益生态
51WORLD地球克隆计划6大会:开启克隆地球下半场,重磅发布产品矩阵及创新迭代!
华为周军:全光品质运力网络,释放算力无限潜能
华为周义林:智算集成新服务,加速AI价值全新释放
倪光南院士:加强网络核心技术自主创新,实现算存运高效协同
实力见证!华为数据中心网络亮相2023算力大会,斩获双料大奖
酷喵x海尔联合打造中轴线3000平影厅,“软硬一体”智慧家庭大屏方案实现顶级视听盛宴
宁夏移动:率先实现“算力+语料+模型+训练”一体化服务能力
“华彩杯”算力应用创新大赛西区决赛颁奖典礼于2023中国算力大会举行,数据中心智能能效优化方案斩获殊荣
博尔捷数字科技集团2023年企业招聘指数报告发布
相约BIRTV2023科技“秀场”,感受华为“智简融媒”新体验