5月2日晚,著名短片导演Paul Trillo在社交平台分享了一部由Sora制作的4分钟商业音乐MV。据悉,该MV是受独立音乐人Washed Out委托制作,并且已经正式发布。据介绍,这部MV的内容全部由Sora生成。为此,Paul Trillo总共生成了700个片段,并选用其中的55个片段进行拼接,最后形成长达4分钟的完整MV。
目前Sora正由少量获邀请的视觉艺术家、设计师、电影制作人和“红队”专家进行测试,以评估该技术的潜在风险或有害应用,并继续进行改善,不过最终会以怎样的方式向公众开放则仍然未有公布。
在Sora内测如火如荼进行的时候,国内厂家也在加快步伐探索多模态内容生成领域。在4月28日举办的万兴天幕大模型公测体验暨「AI重塑视频创作」创新论坛上,AIGC软件A股上市公司万兴科技(300624.SZ)宣布万兴“天幕”正式公测,将逐步向企业和开发者开放接口,以加速音视频领域的智能化创作进程。据现场体验过的参与者反馈,其在文生视频、文生音频等能力维度均有不错表现。
有参与现场体验的创作者认为,从业者正迫切追求文生视频能力,万兴“天幕”能通过简洁的文字描述生成富有创意的视频内容,提升创作效率并降低成本,对视频制作、电影制作和广告业等市场带来全新推动力。同时,营销行业的体验者看好万兴“天幕”的多媒体内容生成能力,认为天幕将成为“一站式”AI内容生成平台,简化工作流程,提升创作效率和创意表达力。
据了解,万兴“天幕”是国内首个专注于数字创意领域的音视频多媒体大模型,依托15亿用户行为数据和百亿本土化音视频数据,采用先进的音视频生成式AI技术,为全球创作者提供全链路的创作支持。该模型已通过中央网信办备案,具备近百项音视频原子能力,并已在旗下产品如Wondershare Filmora、Wondershare Virbo中实现规模化商用,其中文生视频能力实现不同风格、丰富场景及主题的连贯性,一键生成时长率先支持60秒+。
无独有偶,生数科技联合清华大学在中关村论坛未来人工智能先锋论坛上发布了中国首个Sora级别的视频大模型Vidu,引发市场热议。公开信息显示,Vidu采用了Diffusion与Transformer融合的U-ViT架构,支持一键生成长达16秒、分辨率高达1080P的高清视频内容。Vidu不仅能够模拟真实物理世界,还拥有丰富的想象力,具备多镜头生成、时空一致性高等特性。从演示视频中可以看出,Vidu视频生成的效果达到了较高水平,例如在生成的游泳的柯基视频中,Vidu对柯基游泳时腿上毛发漂浮的细节处理得较为精细。
据Gartner研究预测,到2030年,90%的数字内容都将是由AI生成,预计2032年,全球AIGC市场规模有望达1.3万亿美元。此外,目前全世界有3.05亿视频创作者,43亿视频覆盖群体,每天200亿次以上的视频播放量,音视频领域的市场潜力巨大。
从Sora到万兴“天幕”、Vidu,AI大模型正在加速推动音视频领域的技术变革,并通过落地应用推动产业的创新和转型。从内容创作到后期制作,从智能推荐到交互体验,AI的参与将使得音视频产业的每一个环节都变得更加智能化、自动化,为行业开启一个全新的时代。
