StableVideoDiffusion图片转视频——StabilityAI开源视频模型

智能也得细细瞧 2024-02-02 03:29:10

我们,是Stability AI开源的一个,其模型在速度与质量上面有了质的突破,玩家们可以在自己消费级GPU上面来运行此模型。

文生图大模型已经火了很长一段时间了,但是随着需求的不断增加,对文生视频的需求也越来越高,上期介绍的,可以进行文本到视频的生成,只是由于没有开源代码或者线上链接进行试玩。而Stable Video Diffusion是Stability AI开源的视频生成模型,可以进行试玩。

Stable Video Diffusion,顾名思义便是视频生成模型,这里的Stable Video Diffusion是图片转视频模型,是Stability AI社区开源的一个文本或图片转视频模型。

Stable Video Diffusion模型支持输入一张图片,然后生成3-30帧/s 的视频,生成的视频长度在2-5s之间。其模型生成的视频质量还是相当的高的。模型有2种尺寸:

SVD:该模型经过训练,可以在给定的图片上,生成14帧/s的,分辨率为576*1024的视频

SVD-XL:该模型跟SVD采用了同样的模型结构,只是在模型训练后,可以生成25/s 的视频

该模型采用了文本到图片预训练,视频预训练以及高质量视频微调三个步骤打造了Stable Video Diffusion模型,其代码已经在GitHub上开源,可以在本地或者云端部署。

https://stability.ai/stable-videohttps://github.com/Stability-AI/generative-models/tree/main
0 阅读:0

智能也得细细瞧

简介:感谢大家的关注