2023年,由RunwayML参与制作的《瞬息全宇宙》斩获奥斯卡最佳女主角,AI生成视频引起了行业广泛关注,IR、Ten24等公司也将静态重建技术完全商业化,服务于好莱坞大型数字人制作。可以看到,国外这种AI数字人参与视频制作的模式已经趋近成熟化,同时为数字人落地提供了一个可实施的方向。
在国内的AIGC创业公司中,新壹科技算是可以与前者对标的类型化公司。不久前,新壹科技在其视频大模型发布会上,演示了基于自家大模型打造的AIGC内容平台“秒创”、商用数字人平台“新壹数字人平台”的能力。
简单而言,有一天像《三体》《流浪地球》这样的科幻电影的预告片,很多镜头将不再需要拍摄,只要这个对着“秒创”平台输入一段话或一张图片,即可实现图文转视频。如果需要人物,那么还可以通过“新壹数字人平台”完成相关数字人的训练。
新壹科技发布会上:视频大模型生成内容
据新壹科技CEO雷涛介绍,未来,中国电影预告片将会在很大程度上被“AI”所接管,数字人将在很大程度上代替目前的群演。而更加颠覆性的事情可能是,每一个用户都能成为自己影片的“导演”。
新壹科技CEO雷涛在发布会上
为探究AICG时代视频领域生产力将如何释放?数字人在视频领域应用又将擦出怎么的火花?我们与新壹科技CEO雷涛,新壹科技副总裁、AIGC业务负责人陈鹏进行了深入交流。
据雷涛介绍,目前大部分通用大模型很多并没有从实用场景出发,从而导致其实用性不强,难以真正重塑生成。而新壹科技推出的视频大模型,在使用通用大模型的基础上,还利用曾经在秒拍、微博等平台积累的数据集进行训练,其中文本数据可以达到百亿级、图片视频数据量可以达到20亿左右。
陈鹏表示,相较于ChatGPT等通用大模型使用的数据集而言,该公司积累的数据集经过了“安全合规”的审核。同时,此前运行的过程中还进行了数据标注、结构化等工作,在打造视频大模型的过程中,还对数据进行了清洗,这都进一步保证了AIGC视频生成平台“秒创”、商用数字人平台“新壹数字人平台”中数据的质量。
新壹科技数字人形象-“伊人”
此外,为了保证图文转视频的精准度,新壹科技持续优化视频大模型中素材的匹配度,目前精准匹配可以达到千万级,泛匹配可以达到20亿的规模,这将进一步推动视频领域生产力的提高。
当视频能用“大模型”生产了,那真人出镜的部分如何解决呢?还要一段段去录、一段段去剪来完成吗?新壹科技的数字人平台就是在这样的需求下应运而生。目前,新壹科技数字人通过多模态AI合成技术,可将真人录制的视频和音频素材生成写实数字人,该平台目前可以在24小时完成一个数字人的训练。
来源:智东西