Sora技术解密,齐乐无穷开发对标MetaHuman的国产虚拟人创作平台“虚拟咔咔”火了

2024-03-05 15:14:10     来源:

这几天,OpenAI发布的视频模型“Sora”再度让AIGC的热度达到顶峰。当你告诉Sora,拍一段挺瘦的也挺时尚的亚洲女,漫步在东京的街头。很快,Sora拍出了一个一分钟长度的视频:街道积水的倒影、霓虹闪烁的灯牌......谁能想象得到,这个视频竟然完全是AI生成的作品。

这个视频还包含很多的分镜。上一秒是一个全景镜头,能看到整个身子的画面,下一秒镜头就切换成了脸部特写,连脸上的痘印都栩栩如生。

再告诉Sora想做一个男巫,施展魔法,生成闪电,Sora就用AI生成了这样的作品:

还有老奶奶教大家做面食:

宇航员在外星球探索:

Sora能通过文字生成这样的视频,效果举世震惊。人们震惊于如此精细的人物质感,一定离不开大量的训练数据,从何寻得这些数据引起了人们的好奇心。

很快,有科学家指出能实现如此细节效果,是结合了MetaHuman的技术训练。MetaHuman基于UE5(虚幻引擎5)使用虚拟化多边形几何体系统和虚拟阴影贴图,能创建逼真的数字人类。

MetaHuman

AIGC时代「虚拟咔咔」

技术对标MetaHuman的虚拟人工具

国内大多数虚拟人软件普遍采用面部几何结构分析、模拟动画生成技术等技术路径,而北京齐乐无穷文化科技有限公司开发的“虚拟咔咔”是一个基于云的应用程序,它能创建高度逼真的人类角色,并应用在不同的数字项目中,如视频及电影、游戏或虚拟现实程序中。

虚拟咔咔在技术上对标MetaHuman,通过3D建模和动画技术,结合深度学、大规模数据集和计算机视觉技术,训练神经网络,自主研发了空间骨骼点位精确计算,并集成人脸动画和人体动作捕捉等先进技术,创建出接真人的虚拟人。

虚拟咔咔的深度学模型在生成对抗网络(GANs)和变分自编码器(VAEs)学大量虚拟人样本,并运用神经网络深度理解人脸特征及表情,进行姿势预估和关键点检测,大量人脸数据进入大模型内进行处理和标注,然后推理和生成,进而通过空间骨骼点位的计算,打造高度逼真的虚拟人。

虚拟咔咔打造超写实虚拟人

虚拟咔咔内置了1500多种可调节的人体参数与300多种底层人脸模型库,能够实现自由捏脸,1:1真实还原。仅需通过调整的面部数值,即可对128个面部特征点位、698根头部骨骼驱动进行调整。

通过图像生成模型和面部信息数据,融入AI参与与反馈机制,在虚拟人表情生成角度缩小和真人的差距,个化调整,生成符合预期的动态虚拟人,在接入面部捕捉系统后,让4500个以上的面部表情数据得到精确计算并呈现。

虚拟咔咔“千人千面”

作为国内在技术上对标MetaHuman的虚拟人创作工具,虚拟咔咔在三维建模和动画技术深耕,已经打造了许多优质的超写实虚拟人。

如 拉卡拉集团创始人、董事长 孙陶然:

拉卡拉集团创始人、董事长 孙陶然(虚拟人)

虚拟咔咔利用自主研发的AI技术,集成并应用,解决了过往虚拟人创作过程中操作难度大、开发成本高的问题,让国内进入“虚拟人To C”的时代。

Sora让世界沸腾

我们离"国产Sora"还有多远

在AI大模型时代的不断推动下,AIGC逐渐改变了许多场景,不过由于技术上的壁垒,国内还没能达到OpenAI的水准。360公司创始人周鸿祎在日表示,国内大模型发展水已经接GPT-3.5,但跟4.0比还有一段距离。

可见国内的AGI发展还有很大空间。随着文生图、图片对话技术的成熟,文生视频已成为多模态大模型下一步发展的重点。

不过国内的厂商从未停止研发的步伐。虚拟咔咔在虚拟人技术层面,正利用AI不断优化虚拟人的生成效果

在虚拟人声音层面,虚拟咔咔具有了自研的“情感语音合成技术”,并且通过“声音情感表情合成技术”直接生成虚拟人的动态表情。除此之外,虚拟咔咔还具备万种人体动作数据,能在AI处理下让虚拟人自主运动,在动作控制维度展示出强大的能力。

虚拟咔咔打造的AI虚拟法律顾问“包晴天”

虚拟咔咔在技术上,对标国际头部MetaHuman,会不断通过升级算法及神经网络学,配合更大规模的虚拟人训练数据,优化虚拟人模型、骨骼结构及运动轨迹数据、面部特征及表情合成算法、运动控制及姿态数据技术,拓展虚拟人的生成能力,融合更多元素如三维模型、音频、表情信息、特效等,进一步丰富虚拟人生成状态与形式,提升虚拟人的智能化、交互和表现力。

据悉,虚拟咔咔已经签约国内头部MCN机构,为用户提供虚拟直播和内容创作服务。AI时代飞速发展,相信国产替代进口的Sora也即将面世。


标签:

猜你喜欢

给车辆安装一个天空中的“雷达”——业界首个基于低频通感一体的车联网业务完成端到端验证
人形机器人新蓝海掀起巨浪,特斯拉/微美全息全面“狂奔”迈向新征程!
直击安博会丨筑牢海上“数字长城”, 以萨如何助力构建海岸“智防”新模式?
墨迹天气携手鸿蒙生态,共同探索智慧气象服务的新模式
廿载正青春,奋楫扬帆创未来——竞远安全举办20周年庆典,共创网络安全新篇章
携手Redis,火山引擎推出高性能云原生缓存服务
ToDesk万物同屏,远程控制可不止远程办公那么简单
小度全国首届全屋智能服务商大会召开,持续打造代际领先的交互体验
正泰新能Solar Party日本站亮相东京,集合日本阳光力量
干货呈献|黑格新材料,助力齿科修复化繁为简
四信集团携手联通揭幕5G RedCap推广计划,展示多款尖端创新产品
微星笔记本泰坦18 Pro新品预售,刃影16/17系列首发价7799性价比来袭!
为创新提速,南洋商业银行(中国)携手火山引擎构建智能实时湖仓
ANCA(昂科机床)致力打破性别屏障,塑造数控加工领域的未来
两大基因!解读宏碁在AIPC竞争格局中的原生优势
中国信通院《汽车数据发展研究报告(2023)》发布,奇点云参编
2024鸿翼加速推进数据要素生产力,“五驾马车”再启新鸿图
拒绝智商税,中国人真的造不出国际一流音箱?
探路者推动北斗规模化应用,以自身“科技力”打造竞争优势
与光同行,绽放美好 ——“华硕a豆 X橘朵”首度跨界合作,闪光礼盒打破美学次元
《热辣滚烫》带动抖音电商运动品类销售增长,31至35岁女性成购买主力
引领中国CRM:销售易荣登互联网周刊【2023年度CRM APP排行】第一
金山软件(03888.HK)2月27日注销2637.62万股购回股份
MWC2024:华为发布新一代智慧城市解决方案,加速城市智能化
华为云开年采购季产品再升级!华为云耀云服务器L实例4核16G 24元起!
在降本增效大潮中,海外云服务提供商DigitalOcean异军突起
Brilliant Labs 发布集成多模态 AI 眼镜 Frame,推进AI硬件进入「iPhone时刻」
爱耳日益耳行动:讯飞医疗捐赠1000台助听器助力科技助听
AI赋能新型工业化 创新奇智工业大模型在实践中奔跑
新征程,新机遇!“鱼你在一起”北京200家发布会圆满举行