2月19日,春节后第一个交易日,Sora相关概念(文生视频)股集体走高,会畅通讯、C易点、当虹科技、因赛集团、万兴科技20CM涨停,华扬联众、新国脉、新华网涨停封板。
春节期间,OpenAI旗下视频生成模型Sora连登热搜,360创始人周鸿祎公开表示“中国跟美国的AI的差距在加大”,国内各家企业AI视频布局也引发关注。除此之外,在文生视频的浪潮下,“AI是否会抢走内容创作者的工作”也成为大众关心的话题。YY联合创始人、天使投资人曹津向南都记者直言,内容创作的蓝领工作无疑将被替代。但新的工种也将出现,如谦寻控股CIO廖俊龙所言,“学会用工具的高级从业者会出现”。
Sora理解、模拟真实世界,加速通用人工智能的实现
近日,OpenAI正式发布了旗下首款视频生成模型Sora,引爆全球关注。据介绍,Sora可根据提示词,生成长达一分钟的短视频,同时保持视觉质量并遵守用户的提示。在业内人士看来,Sora可以大大降低视频制作的门槛,对短视频、影视制作等行业带来颠覆。
目前,Sora并未对公众开放使用。OpenAI指出,红队成员(以对抗性的方式测试和提高OpenAI模型安全性的外部专家团队)可以使用Sora来评估关键区域的危害或风险,OpenAI还向一些视觉艺术家、设计师和电影制作人授予访问权限,以获得反馈。
OpenAI介绍称,Sora能够生成具有多个角色、特定类型的运动以及主题和背景的准确细节的复杂场景。OpenAI也指出,目前的模型有弱点,“它可能难以准确模拟复杂场景的物理特性,并且可能无法理解因果关系的具体实例。例如,一个人可能会咬一口饼干,但之后,饼干可能没有咬痕。”
OpenAI官网。
此外,OpenAI员工还在社交媒体上发布了招聘需求,正在招聘具有大规模视频基础设施(服务、处理、摄取等)经验的人员。
OpenAI公布的技术报告显示,Sora除了可以根据文字指令生成视频外,还可以根据图片、视频素材生成视频,向前或向后扩展视频OpenAI指出,视频模型在大规模训练时表现出许多有趣的涌现能力,这些功能使Sora能够模拟物理世界中人、动物和环境的某些方面,比如3D一致性、远距离相干性和物体持久性、与世界互动、以及模拟数字世界等。
从技术原理来看,OpenAI提到了“世界模拟器”这个词。万兴科技AI创新中心总经理齐镗泉告诉南都记者,OpenAI采用DiT等技术实现“世界模拟器”,达到理解真实世界的运动和物理能力。它用于文生视频,可以生成超逼真的符合物理和运动学的复杂场景的视频,也就是说,可以理解和模拟真实世界。理解和模拟真实世界是AGI关键一步,能够加速通用人工智能的实现,“继文本、图像之后,Sora拓展到了视频领域,它是能够理解和模拟现实世界的模型,是AGI实现的重要里程碑。”
值得一提的是,近日,有媒体报道称,OpenAI已经完成了一项新交易,该公司的估值达到了近800亿美元。
AI视频赛道竞争激烈,国内企业提早布局
对于Sora的问世,AI文生视频应用Runway首席执行官CristóbalValenzuela在X发表“gameon”,表示了参与到AI视频行业竞争中的决心。
有博主社交媒体上发表了目前最主流的文生视频工具生成的视频对比,包括Sora、Pika、Runway以及StableVideo。该播主给四个模型输入了相同的指令,从生成的内容来看,不论是在视频的时长还是在画面的内容上,Sora生成的视频都远胜另外三家。
Sora、Pika、Runwayy、StableVideo生成内容对比。
在AI视频领域,除了国外的竞争者外,国内也有不少企业已经入局。360创始人周鸿祎在其社交平台发布对Sora的评时表示,国内企业跟OpenAI之间的差距,“表面看起来是离3.5比较近了。但实际上跟4.0比有一年半的差距……我觉得奥特曼是一个营销大师,知道怎么样掌握节奏,就从这儿来看,中国跟美国的AI的差距在加大。”
对于国内、国外AI行业的差距,YY联合创始人、天使投资人曹津告诉南都记者,国内单纯AI内容的辅助创作工具,相对而言差距较小,“但通用AI或AGI的差距较大,甚至有逐渐拉大差距的趋势,是科研、数据、算力的整体差距落后较多,需要业内人士共同努力。”
去年3月,腾讯发布了AI智能创作助手“腾讯智影”。“智影数字人”是腾讯智影最核心的功能,用户只需要输入文本或音频内容,几分钟内即可生成数字人播报视频。腾讯智影还接入了数字人直播,智影数字人可以直接替代真人,实现7×24小时不间断开播。
字节跳动同样正在加码AI视频领域。南都记者获悉,近日,张楠辞去抖音集团CEO的职位,未来将把精力聚焦在字节跳动旗下产品剪映的发展上。接近剪映的人士透露,过去一年,张楠已经把绝大多数精力倾斜到剪映相关业务上,并亲自带队寻求在AI辅助创作上有所突破,即将推出一个AI生图和视频的产品。
其他高校、企业也在申请文生视频相关专利。天眼查数据显示,近日,清华大学申请的“一种定制化多主体文生视频方法、装置、设备及介质”专利公布。摘要显示,该申请涉及神经网络技术领域,基于第一损失、第二损失与第三损失对文生视频模型的参数进行优化,使优化的模型基于文本描述生成视频中的图像时,文本描述与定制化主体保持一致,且在每个主体生成过程中的特征不会发生混淆的同时消除合成痕迹。
此外,度小满科技(北京)有限公司也于2023年8月申请“文生视频生成方法、装置、电子设备及可读存储介质”专利,该申请已于同年11月公布,其能够以极低的资源实现任意长度长视频的生成。
今年1月,万兴科发布国内首个音视频多媒体大模型万兴“天幕”,并宣布大模型研发中心将正式落户马栏山。据悉,“天幕”聚焦数字创意垂类创作场景,基于15亿创作者及100亿本土化高质量音视频数据,以音视频生成式AI技术为基础,支持全球不同语言,相关能力已在海外规模化商用。
齐镗泉指出,一方面,Sora对于当前视频类大模型的技术选型有较大的冲击,它验证了世界模型可行性,验证了大模型做视频生成的可行性,也进一步验证了在当今无视频不传播的时代,“视频+大模型”的应用市场空间扩展;另一方面,当前大模型进入2.0时代,一定是从全球化走向本土,无法指望一个大模型解决全世界的问题,算力本地布局、更本土化的数据、更本土化的应用一定是大势所趋。
抢走工作,还是开启全新叙事时代?
Sora问世以来,对于其是否会抢走内容创作者的工作这一争议,始终引发各方关注。
周鸿祎认为,Sora的面世并不会打击影视工业,人的创意仍然非常重要,但他指出“对电影预告片、广告业、短视频行业可能会有巨大的颠覆,但我还是坚持说,这东西也未必就能击败(替代)TikTok,它可能成为TikTok(平台)更多内容创作者的创作工具。”
谦寻控股CIO廖俊龙告诉南都记者,对于内容创作者来说,Sora能够进一步降低制作的难度和成本,过去需要依赖经验丰富的团队创作精致的内容,现在通过AI可以更轻松低成本实现,未来的内容市场会呈现更丰富的场景,也大大降低了从业门槛。
对于大众担心的Sora会抢走工作的疑虑,廖俊龙指出,“学会用工具的高级从业者会出现”。他认为,AI视频大规模的应用“还需要一些时间,但不会很久”。
乐正传媒副总裁彭侃告诉南都记者,Sora可以辅助进行影视创作,在短视频、纪录片、专题片中,都能得到应用。他指出,将来可能会催生一种新职业,就是需要懂影视美学的人作为“提词者”和人工智能对话,“总体来说,中文的人工智能工肯定跟英文的差距很大,所以短时间内还是要通过英文工作。所以我认为,对于影视专业的学生来说,要提高英文写作的能力,否则就很难去和最先进的人工智能工具对话。
齐镗泉则认为,Sora有望开启一个全新的视觉叙事时代,大大降低用户创作视频的门槛,“相信很快国内外各视频类平台,会出现不少Al原生Short视频,并会辐射影响到诸如视频剪辑、视觉特效、音乐MV等多个行业,视频内容个体化时代正在加速到来。”
曹津认为Sora带来的影响不止于此。他告诉南都记者,他一直不喜欢“AIGC”这个词,似乎将AI的应用局限在内容生成上,这个词汇的指向会限制人们对于AI的新服务、新知识、新发现的想象。他更倾向于将将Sora和特斯拉的FSD(完全自动驾驶)做类比,“Sora目前更像个玩具,但它是标志性的市场教育。Sora的视频制作水平在相当长的时间里会有明显的AI生成痕迹,Sora本身也将需要更多的训练和调优。和AI文字工具、图片工具一样,将AI内容做商业化落地,也是很多创业公司的重要切入点。Sora和FSD更重大的意义在于,AI将可以推导和仿真客观世界的运行规律,它们绝不仅仅是一个视频内容的生成工具。对于FSD来讲,自动驾驶的要求远比生成一段视频更加苛刻,更加不能出现任何错误,所以也更难。”
曹津指出,视频内容的影响和应用,还是要回到内容的本质上,内容要好看好听好玩,“AI工具帮助我们提高了效率,扩充了知识库。但最终,还是基于人类的审美,依赖人类的创意,依托不同的文化。”他认为,内容创作的蓝领工作无疑将被替代。
采写:南都记者汪陈晨