万兴“天幕”测评:多媒体内容生成的“六边形战士”

智能相对论 2024-06-06 16:43:06

文 | 智能相对论

作者 | 沈浪

随着OpenAI在2024开年发布Sora引爆市场,视频大模型成了新一代“全球通杀”的AI技术,也让业界对谁能成为“中国版Sora”充满了期待。

其结果,是各类厂商在庞大的市场蛋糕驱动下,都不可避免地争做“中国版Sora”。而正如历次技术重大革新浪潮中,“中国版”的名头并非谁最先做出来,谁就能戴上王冠,其背后,自带两重要求:

首先,“中国版”本身意味着对本土内容创作有直接的驱动价值,否则大模型创新价值将减少,陷入“别人有所以我才要有”的逻辑中,而不是真正围绕本土价值展开。这是价值标准和导向。

然后,要能力够强、够全面,要能对标到“Sora”的能力方向,而不是差较远。这是基础也是底气。

“中国版”+“Sora”,组合起来,才是“中国版Sora”。

欣慰的是,智能相对论发现,目前业内部分大模型已开始展现这一潜力。今年1月初,AIGC软件A股上市公司万兴科技(300624.SZ)发布了国内首个专注于数字创意领域的音视频多媒体大模型——万兴“天幕”,并凭借大模型在视频、音频、图像、文本等多媒体领域的强大能力,吸引了业界的广泛关注。据介绍,万兴“天幕”依托15亿用户行为数据和百亿本土化音视频数据,具备近百项音视频原子能力,并已通过中央网信办备案。

前不久,万兴“天幕”正式开放公测,提供了包括文生视频、文生音乐、文生音效、文生图等等多样化功能的测试入口,其中文生视频功能支持一键生成60秒+视频。上周末,睽违4年的《歌手2024》震撼开唱,而据透露,节目片头中部分画面便是由万兴“天幕”支持生成,超高清晰度的精致画面更是吊足了视频从业者的胃口。

(《歌手》片头部分画面由万兴“天幕”技术加持生成)

万兴“天幕”综合能力究竟如何,有是否真的能生成60+秒视频?《智能相对论》特别在万兴“天幕”近期公测期间,体验了相关能力。

1.基本操作:小白友好,可体验7大功能

(万兴“天幕”公测页面)

打开万兴“天幕”的公测页面,7大功能陈列在左侧功能栏,包括文生视频、视频风格化、文生音乐、视频配乐、文生音效、文生图、图生图,完美契合了“音视频大模型”这一定位。

目前,每个功能每日可进行10次生成;具体到操作层面,每个功能的操作都很简单,基本都只需要进行prompt输入+选择风格即可生成,新手也可快速上手,符合其“赋能创作者”的定位。

2.文生视频功能实测:“中国特色”理解力及生成效果表现优异

在万兴“天幕”的介绍中,“本土化音视频数据”引人注目。目前包括Sora、MidJourney等在内的大部分视频/图像生成模型,都主要是以海外数据进行训练,对中国元素的生成仍旧不尽如人意。作为国产音视频大模型的先锋者,除了视频整体效果外,万兴“天幕”在“中国特色”内容的生成层面表现如何,也是我们这次测评的重点之一。

点开文生视频功能页,输入描述词“张家界美丽的自然风光,包括其标志性的柱状山脉、茂密的森林和云雾缭绕的景观”。等待5分钟后,一段60秒长度的视频就生成出来了。单从生成效率来看,天幕表现不错。

(万兴“天幕”文生视频页面)

接下来具体看看生成效果。

描述词还原度方面,表现得可圈可点——张家界的景色特点鲜明,奇峰耸立、山峦叠嶂、云雾缭绕,且整体画面自然真实,细节上也完成得不错。此外值得注意的是,天幕在没有任何动作、情节描写的简短描述词的基础上,进行了不少“自我创作”,不仅有远景近景以及视角的变幻,还可根据自己的理解,在画面中增加了河流、寺庙、花朵等视觉元素,让1分钟时长的视频内容更丰富、变化更多样。

(万兴“天幕”部分视频生成效果)

3.多媒体内容生成实测:“六边形战士”发挥稳定

作为全国首个音视频多媒体大模型,天幕不仅仅具备文生视频能力,更集合了音频、图像等其他多媒体种类的内容生成能力。接下来,就一起来看看天幕在其他内容类型上的表现吧。

首先是图像生成。还是张家界,这次我们加点人物进去,选取“电影打光”风格,输入提示词“一名游客在张家界快乐地游玩,写实风格”,几秒后图片就生成出来了。

从生成效果来看,景色展示一如既往的稳定,这次描述词中没有具体的景色描写,但是可以看到张家界的特色依旧很明显。

此外,图片中还有一个细节非常惊喜。描述词中强调人的特征,但是天幕自然而然生成了中国人的形象,不论是画面中的主要人物还是作为背景展现的其他游客形象,都是清一色的黑头发黄皮肤。自信大方的笑容,自然轻松的体态,非常符合日常的穿着。

(万兴“天幕”文生图效果)

接下来,看看文生音效的表现。输入描述词“鸟叫声”即可生成,很快就生成出10秒的音频出来。质量方面,鸟叫声非常清脆逼真,用来作为视频的背景音效毫无问题。

(文生音效页面)

综合来看,天幕已经具备了多模态处理能力,任务完成度和一致性上表现不错,已经初现“六边形战士”雏形,是目前市面上少见的以本土内容为核心进行训练及生成的大模型。随着后续技术的持续发展,通过不断的打磨及投喂训练,相信天幕会是一个非常不错的产品。

4.天幕未来展望:素材“弹药”生产商

从实际体验层面,天幕在风景、场景类画面生成上确实表现不错,同时还具备音频、图像等多模态内容的生成能力。结合目前透露的信息来看,万兴科技为天幕规划的未来发展方向已呼之欲出:相较业界普遍讨论的所谓“一键成片”“AI生成成品视频”,天幕当前阶段在素材类内容生成上表现突出,可为商业广告、影视、旅游、社媒等视频创作提供丰富的素材“弹药”。

这也符合技术发展规律以及商业化落地基本逻辑。技术层面,由于数据集限制以及理解难度的指数级上升,视频生成技术在完成度上仍有较大提升空间,其中自然景色类视频相较人像类视频的视频数据更充分、完成度较高。

商业逻辑层面,视频市场规模正在不断扩大,但AI内容在其中的切入角度还需要持续探索。目前来看,空镜头类素材在商业化层面的优先级更高,人像类视频则通常倾向于真人出镜,还需要经历一定的技术和效果跨越。

总之,实测下来,可以说,“中国版Sora”是业界期许,也在万兴“天幕”上看到可能性。应用驱动大模型发展、磨炼技术实力,以万兴科技为代表的先锋者仍在持续探索和实践。相信假以时日,万兴科技为代表的国产厂商,将带领从业者们共同奔赴更美好的AI+视频未来。

此内容为【智能相对论】原创,

•AI产业新媒体;

•澎湃新闻科技榜单月度top5;

•文章长期“霸占”钛媒体热门文章排行榜TOP10;

•著有《人工智能 十万个为什么》

•【重点关注领域】智能家电(含白电、黑电、智能手机、无人机等AIoT设备)、智能驾驶、AI+医疗、机器人、物联网、AI+金融、AI+教育、AR/VR、云计算、开发者以及背后的芯片、算法等。

0 阅读:4

智能相对论

简介:智能和车,边评边测;未来和家,且品且鉴