只靠一句话,AI就能做一支科幻电影预告片。
脚本、每帧画面、背景音乐,AI都能生成。
这就是国内首款视频垂直大模型新壹视频大模型带来的现场首秀。
由该模型作为底座的AIGC视频平台一帧秒创,同步推出,现在可直接体验。
不仅是用AI生成画面,这个平台还能实现图文转视频、AI帮写、插入数字人等。
在过去半年试运营中,该平台每天产出超出10万分钟视频,积累了200多万用户。
同时还推出了数字人创作平台,24小时内就可以训练好一个数字人。
在发布现场,还有投资人任泉还来帮忙站台,强调正在视频领域发生的新技术革新。
所以,这个视频大模型什么来头?
首个垂直视频大模型?
发布会介绍,新壹大模型是一个以视频为核心的多模态AIGC模型。
通过对海量视频样本的学习,具有几大关键能力:多模态感知、实时学习、自迭代、多场景交叉推理。
由此它能理解文字的含义、识别图像内容、感知音乐情绪,然后生成视频。
在发布会现场的演示中,最开始给新壹大模型的仅仅是一句主题:
人类驾驶地球、离开太阳系、并遇到危险。
然后就看到大模型很快理解了意思,输出了10个镜头的脚本,都非常契合主题。
下一步,再基于生成文字内容,大模型又给出了10个分镜头。
从现场效果里可以看出,每一个镜头给出的画面,和文字的对应也很紧密。
比如镜头八的脚本是“一位科学家站起来,他的眼神坚定”。
画面上就给出了一位穿太空服的男性,皱紧眉头,眼神坚定。
再要求AI配一段“大气磅礴、有重低音和交响乐团的元素,给我一种踏上新征程的感觉”。
最后把生成的所有素材一结合,就有了一个完整的科幻预告片。
据介绍,新壹视频大模型采用了自监督学习方案,会观察和学习大量的视频数据,通过分析视频的结构、内容、风格等多个维度,自我理解和把握视频制作的规则和逻辑。
而且能跨场景进行知识迁移与关联,选择合适素材,调整视频风格;还可面向行业级的垂直场景对新壹视频大模型做定向训练。
在现场,新壹方面也强调,大模型中关于视频理解、匹配输出的部分,均是由自研技术支撑。
而以该模型为底座的座的AI内容生成平台一帧秒创,也正式发布。
它能提供图片生成、视频生成、声音生成、数字人生成等任务。
并提供了一个千万级的结构化视频库,可以精准匹配素材。
比如在现场演示中,通过平台制作一个“夏日防暑小妙招”的视频,同样是AI自己生成文案、匹配素材。
除了视频制作方面,同步亮相的还有一个数字人平台。
据介绍,通过多模态合成AI技术,该平台可以将真人录制的视频和音频素材,快速生成2D写实数字人。
基于新壹视频大模型, 24内小时即可完成一个数字人的训练。通过融合通用语言模型、音视频生成技术,能够快速、低成本的生成真人播报视频和直播。
结合该技术,还有一个名为“秒祝”的明星数字人祝福视频制作产品发布。它可以还原明星的声音和形象,制作出对应数字人,并生成个性化定制祝福视频。
那么问题来了:
带来这一系列AIGC领域新动向的玩家,到底是谁?
视频行业20年老玩家出手
如上一系列新技术、新产品的幕后玩家,名叫新壹科技。
公开信息显示,新壹科技注册于2022年1月,是一家非常年轻的创业公司。
但是他们的团队,其实是在视频行业中摸爬滚打20多年的老玩家,曾多次站在视频风口浪尖:如此前大火的秒拍、小咖秀,都是该团队推出的产品。更早之前,则是中国首个上市的视频公司酷六网。
新壹科技创始人、董事长为韩坤,CEO为雷涛。
△新壹科技创始人、董事长韩坤
这一次召开发布会,用新壹自己的话来解释,就是要在AIGC的时代下,重新出发。
那么,为什么要做大模型?
有直接需求、行业影响和新壹自身三方面要素。
首先是用户需求方面。
作为视频行业的资深玩家,新壹注意到在社交平台极度发达的今天,很多人都有输出自己观点的需要。以及目前人们上网浏览的大部分信息都是视频模式,但是互联网信息中转换为视频的部分,占比却并不多。
所以,一个低门槛的视频创作平台,是有巨大市场需求的。
新壹科技CEO雷涛举例说,比如很多人对于一些事情都想发表观点,但是他可能不愿意或者没有时间自己出镜,这时如果他有一个数字人可以帮他出镜,再有工具能快速剪辑视频,就能很好满足这部分人需求。
这也是新壹反复强调的一个点:AIGC时代下有技术是不够的,还要能提供直接使用的场景,这样技术才能被更高频率、更大范围地应用起来,而在这方面,垂直领域玩家具有先天的自身优势——本身就更懂市场需求。
其次是行业方面。
作为经历了互联网视频产业崛起的玩家,雷涛认为目前产业内的各方面要素已发展相对成熟,如手机硬件、软件、网络等,都能很好支撑互联网视频产业。
在这样的前提下,AIGC相关的项目是很容易做成的,“只要人工智能可以起来就够了”。
作为一直都有技术积累的视频玩家来说,在这方面就会具备一定优势。
这也是新壹为什么做大模型的第三点原因——自身积累。
基于过去在行业内的20年积累,新壹在视频方面积累了深厚的技术和经验。新壹董事长韩坤发布会上也非常自豪地表示,“我们培养出了一支代码技术过硬的工程师团队,形成了良好的产品服务意识。”
同时雷涛表示,新壹做大模型,并不是重复造轮子。他们的技术底座中,视频方面主要依靠自研,但是在图像、TTS等领域,也会集成业内的优秀成果。
我们是用另一种方式提供工程化的创新。就好比造车一样。
△新壹科技CEO雷涛
但现在就已经是AIGC产品应用开发的最佳时机了吗?新壹为何在这样一个时间点正式对外推出?
雷涛也从技术和行业两个方面给出了解释。
技术上,他认为AI领域的各种创新,不会存在一个所谓的成熟期,技术一直在不断迭代优化。新壹从现在出发,之后也会不断在技术上进行迭代。
再结合行业现状,AIGC热潮如今略有降温,但雷涛认为这并不是一件坏事。因为只是看热闹的人已经走了,剩下的则是对AIGC有真正需求的人,而这部分人现在对AI的胃口已经被吊起来了。
所以在这个时间节点下,他们对外发布新壹视频大模型,并带来一帧秒创制作平台。
值得一提的是,在发布大模型相关产品的同时,他们还推出了一个数字人平台。
要知道,数字人技术热潮比AIGC更早,赛道内的玩家数量众多,新玩家新壹并不具有先发优势。
雷涛解释说,基于新壹自身在视频、娱乐产业方面的积累,他们看到在这方面其实有非常明确的商业模式,比如给明星制作数字人让它帮忙带货。
在发布会现场,不仅是任泉本人来给新壹站台,还有多位明星送来了祝福视频。
并且新壹使用了更加先进的技术,价格也不高(售价可低至千元价位),所以现在加入数字人赛道,新壹同样有自身独特优势。作为这种技术成本和应用的能力,新壹还宣布了与新浪微博的合作,将为金V用户提供专门数字人。
实际上,在秒拍和一直播风靡的周期里,与新浪微博也始终密切相关。
但关于新壹科技的投融资,还尚未到对外官宣的时候,不过CEO雷涛透露,进度各方面都比较顺利,不少投资人也看到了AIGC正在对视频领域展开的技术革新,而新壹这支团队穿越多个周期、潮起潮落、久经考验。
有意思的是,这其实也是韩坤雷涛这支视频老兵团队时隔多年的再度公开亮相,但地点都是北京东三环的康德莱酒店。
上一次,2017年在这里,秒拍一直播母公司一下科技宣布了新一轮巨额融资,震动江湖。
这一次,韩坤站在台上,表达着一直站在创业路上的原因——对视频内容的热爱,而新壹则是这种热爱的延续和新的开始。
“新的开始,壹定成功。”
文章来源:量子位
