刚刚,StableDiffusion3.5重磅开源,文生图模型霸主归来!

看看科技观察芯情 2024-10-23 21:34:41

专注AIGC领域的专业社区,关注微软&OpenAI、百度文心一言、讯飞星火等大语言模型(LLM)的发展和应用落地,聚焦LLM的市场研究和AIGC开发者生态,欢迎关注!

著名大模型开源平台Stability AI,开源了超强文生图模型——Stable Diffusion 3.5。

Stable Diffusion 3.5一共有Large、Large Turbo和Medium三个版本,可根据不同的商业环境提供高度定制功能,同时对这些模型进行了大幅度优化可在消费级GPU就能轻松推理运行。

开源地址:https://huggingface.co/stabilityai

Github:https://github.com/Stability-AI/sd3.5

今年6月Stability AI首次开源了Stable Diffusion 3 Medium,但效果未达到预期,在听取了社区用户的反馈后,Stability AI花费大量时间进一步开发,便有了最新的3.5版本。

Large、Turbo、Medium简单介绍

在这次发布中,Stable Diffusion 3.5提供了多种模型,以满足不同用户群体的需求。Stable Diffusion 3.5 Large模型拥有80亿参数,提供了卓越的图片质量和高度文本语义还原,是Stable Diffusion家族中最强大的模型,非常适合专业使用,尤其是在100万像素分辨率的图片。

而Stable Diffusion 3.5 Large Turbo模型则是一个蒸馏版本,它能够在仅仅4步之内生成高质量的图像,并且对提示的遵循性非常好,速度比Stable Diffusion 3.5 Large快得多。

Stable Diffusion 3.5 Medium模型将在10月29日发布,这个模型有25亿参数,采用了改进的MMDiT-X架构和训练方法,能在消费级硬件上即开即用,可生成0.25—200万像素之间生成图像,兼顾了质量和易定制性。

在开发这些模型的过程中,Stability AI优先考虑了可定制性,提供了一个灵活的基础来构建。

将Query-Key归一化集成到了变换器块中,这不仅稳定了模型训练过程,还简化了进一步的微调和开发。

为了支持这种下游的灵活性,Stability AI不得不做出一些权衡,例如,同一个提示使用不同种子可能会产生更大的输出变化,这是有意为之的,以帮助在基础模型中保留更广泛的知识库和多样化的风格。

此外,Stable Diffusion 3.5在可定制性、高效的性能以及多样化的输出方面表现出色,使其成为市场上最可定制和最易访问的文生图像模型之一,同时在提示遵循性和图像质量方面保持了顶级性能。

本文素材来源Stability AI,如有侵权请联系删除

END

0 阅读:0

看看科技观察芯情

简介:感谢大家的关注