stable-diffusion-webui本地部署stable diffusion 2.0和微调教程

本地安装
这里我们以windows为例,linux也类似
首先,clone项目:
 git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui
然后,我们需要一个插件stable-diffusion-webui-images-browser ,把他clone到相应目录即可
 git clone https://github.com/yfszzx/stable-diffusion-webui-images-browser stable-diffusion-webui/extensions/stable-diffusion-webui-images-browser
全部完成后我们进入这个网站:
https://huggingface.co/nolanaatama/chomni/tree/main
然后下载这两个文件:
chilloutmixni.safetensors是我们的基本模型文件,复制到 stable-diffusion-webui/models/Stable-diffusion,这个模型很大,但是可以用迅雷等下载工具下,速度还可以。
ulzzang-6500.pt是embedding,复制到stable-diffusion-webui/embeddings
然后我们用conda创建一个虚拟环境,这个环境无所谓,因为webui在启动时会自动的将python复制到它的stable-diffusion-webui\venv目录,所以只要有基本的python包就可以了,这里我们根据官网要求,使用Python 3.10.6:
 conda env create -n sd2 python=3.10.6
安装完成后激活
 conda activate sd2
然后进入stable-diffusion-webui目录,我这里是放在了D:\git\stable-diffusion-webui,所以后面都已这个目录为例。
然后执行:
 cd D:\git\stable-diffusion-webui
 webui.bat
执行这步肯定会报错,如果没报错就跳过下面的内容:
我们先执行这步是为了让脚本把环境复制到venv,这样我们就可以跳过conda虚拟环境了,我们的python运行环境已经在 了
下面开始安装依赖:
找到:
requirements.txt
把这两行注释掉:
图片
执行
 D:\git\stable-diffusion-webui\venv\Scripts\Python.exe -m pip install -r requirements.txt
执行完后手动执行:
 D:\git\stable-diffusion-webui\venv\Scripts\Python.exe -m pip install gradio
安装最新版的gradio,安装完成后打开
图片
22行改为True
然后在221行:
手动执行上面的每一步
比如:
 D:\git\stable-diffusion-webui\venv\Scripts\Python.exe -m pip install git+https://github.com/TencentARC/GFPGAN.git@8d2447a2d918f8eba5a4a01463fd48e45126a379
一般情况下这一句就行了,因为我们的requirements注释掉了这句。
以上都完成后,执行:
 D:\git\stable-diffusion-webui\venv\Scripts\Python.exe launch.py
就可以启动了,这时不需要任何的python环境了,启动时间很长,因为有一个8G的模型要放到显卡上,如果你看到下面的消息就是成功了:
图片
访问上面标红的地址就能看到webui了,如果报错请按照提示安装缺失的python包,一般都是在221行的那几个,手动install就可以了。
打开页面应该是这样的
图片
这样安装就完成了。
微调模型
我们安装的仅仅是基本模型,为了我们不同的需求可以使用不同的lora来进行微调,比如这个:
https://huggingface.co/amornlnw7/koreanDollLikeness_v15/tree/main
下载 复制到 models\Lora 目录,这样我们可以生成漂亮小姐姐了
使用下面的配置可以生成跟我一样的图片:
图片
prompt
, ((Blink))),best quality, ultra high res, (photorealistic:1.4), 1girl, loose and oversized black jacket, white sports bra, (green yoga pants:1), (Kpop idol), (aegyo sal:1), (Medium-sized chest), (Medium-sized breasts),(light brown short ponytail:1.2), ((puffy eyes)), looking at viewer, full body, streets, outdoors
negative:
 paintings,sketches,(worst quality:2),(lowquality:2),(normal quality:2),lowres, normalquality,((monochrome)),((grayscale)),skin spots,acnes, skin blemishes,age spot,glans
图片
上面生成的图片还可以导入到d-id中,让图片动起来,比如我们这个演示的视频,但是目前看d-id的效果并不好,嘴型没有对上
图片美化
可能你生成的效果没我的好,这是为什么呢?
因为我还加了vae,把这个文件vae-ft-mse-840000-ema-pruned.safetensors放在 \models\VAE目录下
下载地址:https://huggingface.co/stabilityai/sd-vae-ft-mse-original/tree/main ,这样就自动使用了
SD VAE的作用主要就是优化眼睛和嘴的细节:
图片
LORA
Low-Rank Adaptation (LoRA) 是一种有效的自适应策略,它不会引入额外的推理延迟,并在保持模型质量的同时显着减少下游任务的可训练参数数量,也就是说它的模型特别小,看看 koreanDollLikeness_v15.safetensors 就知道了。
我们可以自己训练也可以使用别人的LORA,与koreanDollLikeness_v15一样,直接把他们复制到 lora目录就可以了
在 civitai上有各种各样的LORA可以选择,这里介绍几个我觉得不错的:
墨心 MoXin:
图片
Jim Lee (DC Comics / Marvel) Style LoRA
图片
光头强/huaqiang lora模型
图片