这几天,OpenAI发布的视频模型“Sora”再度让AIGC的热度达到顶峰。当你告诉Sora,拍一段挺瘦的也挺时尚的亚洲女性,漫步在东京的街头。很快,Sora拍出了一个一分钟长度的视频:街道积水的倒影、霓虹闪烁的灯牌......谁能想象得到,这个视频竟然完全是AI生成的作品。
这个视频还包含很多的分镜。上一秒是一个全景镜头,能看到整个身子的画面,下一秒镜头就切换成了脸部特写,连脸上的痘印都栩栩如生。
再告诉Sora想做一个男巫,施展魔法,生成闪电,Sora就用AI生成了这样的作品:
还有老奶奶教大家做面食:
宇航员在外星球探索:
Sora能通过文字生成这样的视频,效果举世震惊。人们震惊于如此精细的人物质感,一定离不开大量的训练数据,从何寻得这些数据引起了人们的好奇心。
很快,有科学家指出能实现如此细节效果,是结合了MetaHuman的技术训练。MetaHuman基于UE5(虚幻引擎5)使用虚拟化微多边形几何体系统和虚拟阴影贴图,能创建逼真的数字人类。
MetaHuman
AIGC时代「虚拟咔咔」
技术对标MetaHuman的虚拟人工具
国内大多数虚拟人软件普遍采用面部几何结构分析、模拟动画生成技术等技术路径,而北京齐乐无穷文化科技有限公司开发的“虚拟咔咔”是一个基于云的应用程序,它能创建高度逼真的人类角色,并应用在不同的数字项目中,如视频及电影、游戏或虚拟现实程序中。
虚拟咔咔在技术上对标MetaHuman,通过3D建模和动画技术,结合深度学习、大规模数据集和计算机视觉技术,训练神经网络,自主研发了空间骨骼点位精确计算,并集成人脸动画和人体动作捕捉等先进技术,创建出接近真人的虚拟人。
虚拟咔咔的深度学习模型在生成对抗网络(GANs)和变分自编码器(VAEs)学习大量虚拟人样本,并运用神经网络深度理解人脸特征及表情,进行姿势预估和关键点检测,大量人脸数据进入大模型内进行处理和标注,然后推理和生成,进而通过空间骨骼点位的计算,打造高度逼真的虚拟人。
虚拟咔咔打造超写实虚拟人
虚拟咔咔内置了1500多种可调节的人体参数与300多种底层人脸模型库,能够实现自由捏脸,1:1真实还原。仅需通过调整平台的面部数值,即可对128个面部特征点位、698根头部骨骼驱动进行调整。
通过图像生成模型和面部信息数据,融入AI参与与反馈机制,在虚拟人表情生成角度缩小和真人的差距,个性化调整,生成符合预期的动态虚拟人,在接入面部捕捉系统后,让4500个以上的面部表情数据得到精确计算并呈现。
虚拟咔咔“千人千面”
作为国内在技术上对标MetaHuman的虚拟人创作工具,虚拟咔咔在三维建模和动画技术深耕,已经打造了许多优质的超写实虚拟人。
如 拉卡拉集团创始人、董事长 孙陶然:
拉卡拉集团创始人、董事长 孙陶然(虚拟人)
虚拟咔咔利用自主研发的AI技术,集成并应用,解决了过往虚拟人创作过程中操作难度大、开发成本高的问题,让国内进入“虚拟人To C”的时代。
Sora让世界沸腾
我们离"国产Sora"还有多远
在AI大模型时代的不断推动下,AIGC逐渐改变了许多场景,不过由于技术上的壁垒,国内还没能达到OpenAI的水准。360公司创始人周鸿祎在近日表示,国内大模型发展水平已经接近GPT-3.5,但跟4.0比还有一段距离。
可见国内的AGI发展还有很大空间。随着文生图、图片对话技术的成熟,文生视频已成为多模态大模型下一步发展的重点。
不过国内的厂商从未停止研发的步伐。虚拟咔咔平台在虚拟人技术层面,正利用AI不断优化虚拟人的生成效果。
在虚拟人声音层面,虚拟咔咔具有了自研的“情感语音合成技术”,并且通过“声音情感表情合成技术”直接生成虚拟人的动态表情。除此之外,虚拟咔咔还具备万种人体动作数据,能在AI处理下让虚拟人自主运动,在动作控制维度展示出强大的能力。
虚拟咔咔打造的AI虚拟法律顾问“包晴天”
虚拟咔咔在技术上,对标国际头部平台MetaHuman,会不断通过升级算法及神经网络学习,配合更大规模的虚拟人训练数据,优化虚拟人模型、骨骼结构及运动轨迹数据、面部特征及表情合成算法、运动控制及姿态数据技术,拓展虚拟人的生成能力,融合更多元素如三维模型、音频、表情信息、特效等,进一步丰富虚拟人生成状态与形式,提升虚拟人的智能化、交互性和表现力。
据悉,虚拟咔咔已经签约国内头部MCN机构,为用户提供虚拟直播和内容创作服务。AI时代飞速发展,相信国产替代进口的Sora也即将面世。