StableDiffusion中安装和使用细节修复(ADetailer)插件,详细

查理谈科技 2024-05-07 15:21:27

记录一下Stable Diffusion 中安装ADetailer插件。

最近在学习Stable Diffusion, 发现有时候手部的姿势不是很正确, 手指变形、多指的情况很多, 在网上研究了一下, 说有个ADetailer可以做面部、手部的姿态纠正, 就尝试着安装一下, 结果发现光是安装就遇到了好几个错误, 赶紧记录下来。

一、安装Ultralytics

在安装ADetailer 之前, 首先要安装这个Ultralytics, 要不然Stable Deffusion Web UI会启动不起来, 如下图所示, 其实就是ADetail 插件运行不成功, 如果遇到这种错误, 手动把ADetail 插件删除就好了。

那么,什么是Ultralytics呢?

按照官网的说法, Ultralytics YOLO 是:

Ultralytics YOLOv8 是一种尖端、最先进 (SOTA) 模型,它建立在先前 YOLO 版本成功的基础上,并引入了新功能和改进,以进一步提高性能和灵活性。 YOLOv8 的设计目标是快速、准确且易于使用,使其成为各种对象检测和跟踪、实例分割、图像分类和姿态估计任务的绝佳选择。

本地安装Ultralytics很简单,命令行里输入:

pip install ultralytics

运行后,下载一堆依赖:

好在最后成功安装:

Installing collected packages: tbb, pytz, py-cpuinfo, mpmath, intel-openmp, urllib3, tzdata, typing-extensions, sympy, six, pyyaml, pyparsing, psutil, pillow, packaging, numpy, networkx, mkl, MarkupSafe, kiwisolver, idna, fsspec, fonttools, filelock, cycler, colorama, charset-normalizer, certifi, tqdm, scipy, requests, python-dateutil, opencv-python, jinja2, contourpy, torch, pandas, matplotlib, torchvision, thop, seaborn, ultralytics

Successfully installed MarkupSafe-2.1.5 certifi-2024.2.2 charset-normalizer-3.3.2 colorama-0.4.6 contourpy-1.2.1 cycler-0.12.1 filelock-3.13.4 fonttools-4.51.0 fsspec-2024.3.1 idna-3.7 intel-openmp-2021.4.0 jinja2-3.1.3 kiwisolver-1.4.5 matplotlib-3.8.4 mkl-2021.4.0 mpmath-1.3.0 networkx-3.3 numpy-1.26.4 opencv-python-4.9.0.80 packaging-24.0 pandas-2.2.2 pillow-10.3.0 psutil-5.9.8 py-cpuinfo-9.0.0 pyparsing-3.1.2 python-dateutil-2.9.0.post0 pytz-2024.1 pyyaml-6.0.1 requests-2.31.0 scipy-1.13.0 seaborn-0.13.2 six-1.16.0 sympy-1.12 tbb-2021.12.0 thop-0.1.1.post2209072238 torch-2.3.0 torchvision-0.18.0 tqdm-4.66.2 typing-extensions-4.11.0 tzdata-2024.1 ultralytics-8.2.3 urllib3-2.2.1

安装完成之后,可以用这个命令来验证:

yolo predict model=yolov8n.pt source='https://ultralytics.com/images/bus.jpg'

在命令行里, 直接使用yolo 命令来下载和检验一张大巴车的图片:

这是我本地的运行效果。

下一步, 就是下载模型。

二、下载ADetail 模型

下载模型需要去huggingface , 地址是https://huggingface.co/Bingsu/adetailer

登录这个网站,需要一点魔法, 模型有好几个, 好在都不大, 都下载下来就行。

下载下来之后, 到model 目录新建一个adetailer子目录,然后把这些模型一股脑都放进去:

这样就ok 了。

下一步,把ADetailer插件放到extension 目录。

三、 安装ADetailer插件

我在Stable Diffusion 上通过网页插件很少能成功, 不知道为什么总是出错, 因此就从github 下载zip 文件, 项目:GitHub - Bing-su/adetailer: Auto detecting, masking and inpainting with detection model.

地址:https://github.com/Bing-su/adetailer.git

手动安装的话, 在extension 目录下, 新建adetailer 目录, 然后把下载的内容复制到adetailer 目录:

然后重新启动Stable Diffusion Web UI, 这次启动的时间会稍微长一些, 因为, 按照我现在的理解,是Python 探测到了系统级别的ultralytics组件, 在Stable Deffusion 虚拟环境中也安装ultralytics组件以及依赖:

最终, 在本地安装了四个package(组件):py-cpuinfo-9.0.0 seaborn-0.13.2 thop-0.1.1.post2209072238 ultralytics-8.2.3, 以及相应依赖:

可以看到, 已经成功加载ADetailer插件。

界面上确认一下:

四、使用ADetailer插件

安装完成ADetailer之后, 在随机数种子下面,就会多出一个细节修复的区域:

打开之后, 可以选择模板和关键词:

首先选择启用, 然后,就可以指定模型, 以及指定提示词和反面提示词了:

在这里,在第一步,我们指定面部模型,输入提示词:

(8k, RAW photo, best quality, masterpiece:1.2), (realistic, photo-realistic:1.4), (extremely detailed 8k wallpaper), cheerleader outfit, full body, 20-year-old woman

负面提示词:

EasyNegative, (worst quality, low quality: 2.0), normal quality, ugly face, unclear eyes, bad mouth, bad anatomy, extra legs, beach, bad anatomy

在第二步, 我们指定手部处理:

提示词:

peace sign, five fingers

负面提示词:

deformed hand, extra fingers, bad fingers, missing fingers, fewer digits, extra digit, liquid fingers

然后,生成一次图片看看效果:

在正常的图片生成之后, 可以看到又多出了一个步骤, 首先YOLO 算法开始检测面部和手部, 并进行了一点处理。 面部的处理不是特别明显, 但是手部,尤其是对手指的处理, 还是挺正常的, 去掉了多余的一跟手指。

总结

本文介绍了Stable Diffusion 的细节修复(ADetailer)插件的安装和使用方法, 虽然比较初级, 有兴趣的同学, 来试试吧。

​​ ​​​​

0 阅读:0

查理谈科技

简介:感谢大家的关注