开源免费「吉卜力」风格照片神器,效果不输GPT-4o。

程序员咋不秃头 2025-04-14 01:00:45

EasyControl 是由 Tiamat AI 联合上海科技大学、新加坡国立大学及 Liblib AI 团队推出的创新性 DiT(Diffusion Transformer)控制框架。目的是为 Diffusion Transformer 添加高效灵活的控制。

现在,支持「吉卜力」风格生成了。

模型专门针对「吉卜力」动画的光影、色彩和情感表达进行优化,能生成具有标志性手绘质感的图像,如《千与千寻》《龙猫》等作品的风格。

高效控制与灵活性:项目通过 EasyControl 框架,允许用户通过文本提示、草图或参考图像灵活控制生成过程,例如调整角色姿态、场景布局等。

训练数据与适用性:模型使用 100 张真实亚洲面孔照片 进行训练,更贴合亚洲用户需求,同时能捕捉吉卜力作品中的细腻情感表达。

免费与开源:代码和模型权重完全开源,支持本地部署或在线体验(通过 Hugging Face平台),无商业使用限制

除此之外,EasyControl这个开源项目还有其它特性:

1️⃣ 全能控制兼容

即插即用:支持 7 种控制模式(Canny/深度图/线稿/姿态/分割/修复/主题)无损风格:通过Condition Injection LoRA模块实现控制与风格的解耦灵活组合:支持单条件/多条件混合控制(如同时使用深度图+主题替换)

2️⃣ 智能生成优化

多分辨率支持:完美适配不同长宽比(720P/1080P/2K)语义感知:Position-Aware训练范式提升空间关系理解高效推理:结合Causal Attention与KV Cache技术,速度提升40%

3️⃣ 工业级部署能力

轻量化设计:控制模块参数量<5%基础模型显存优化:支持bfloat16精度与显存复用技术生产就绪:提供Hugging Face即用API与预训练模型在线体验:https://huggingface.co/spaces/jamesliu1217/EasyControl_Ghibli论文地址:https://arxiv.org/abs/2503.07027开源地址:https://github.com/Xiaojiu-z/EasyControl
0 阅读:0
程序员咋不秃头

程序员咋不秃头

感谢大家的关注