
随着SDXL 1.0 AI图像生成模型的发布,本系列教学所使用的Stable Diffusion AI WebUI也在更新到1.5版之后支持新模型,能够带来更理想的图像质量。
系统需求与注意事项
SDXL 1.0模型与先前SD 1.5系列模型最大的差异,就是具有更大量的参数,有利于生成品质更细腻、真实的图像。 不过随着模型的量体增大,执行SDXL 1.0所需要的显示内存也随之增高,根据Stability AI开发团队的说明,需要搭在12GB以上显示内存的显卡才能顺利执行。
不过根据笔者实际测试,搭配参数设定的情况下(后详),显示内存容量达8GB即可完成分辨率为1024 x 1024的图像生成,但无法完成利用细化器(Refiner)之进行细化,而10GB的容量则可完成图像生成与优化。
另一方面,SDXL 1.0模型并不兼容于以SD 1.5系列模型为基础的LoRA小模型,而且目前社群中以SDXL 1.0模型为基础训练的各种Checkpoint模型也还不是很普及,所以当下「实用」的资源还不是很多。
笔者也随手测试了SDXL 1.0模型并搭配细化器的图像生成效果,品质与SD 1.5模型相比的确有相当明显的提升。
测试图像使用之提示词:
(1girl is a DJ and drop the beat in Rave Party), neon, headphone, crowd,
(nice hands, perfect hands), wearing sexy dress, off shoulder, (studio lighting), face highlight, beautiful face, beautiful eyes, big eyes, grin,
▲ 使用SD 1.5模型生成的图像,原生分辨率只有512 x 512。 若放大到1024 x 1024,画面中的人物就容易产生严重变形。
▲ SDXL 1.0模型则能轻松生成原生分辨率达1024 x 1024的图像,且质量明显提升。
▲ SDXL 1.0模型并搭配细化器对图像进行优化处理,可以看到质量进一步提升,人物五官与光影等细节表现更理想。
SDXL 1.0安装说明
对于已经安装Stable Diffusion WebUI的读者而言,虽然能透过更新的方式取得支持SDXL 1.0的版本,但为了避免在新版本遇到Bug而影响到旧有功能,所以笔者建议重新安装SDXL 1.0专用的虚拟环境(venv),若有需要使用旧版功能,则直接启动旧有虚拟环境即可,2组环境彼此不互相影响。
安装流程
1. 建立新的SDXL 1.0专用的虚拟环境
2. 安装模型、细化器、VAE
3. 设置快亮菜单
4. (若遇到问题)进行额外参数设定
假设读者已经参考先前2-1章节的说明,安装了Git、Python 3.10、Miniconda等必须软件,建议建立1组新的文件夹(例如命名为SDXL,建议完整路径皆仅使用英文),进入该文件夹后在该文件夹内点击鼠标右键并选择「Git Bash Here」,接着在跳出的窗口输入
git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git
就能下载最新版Stable Diffusion WebUI。
如果读者决定仍要更新现有Stable Diffusion WebUI而不进行全新安装,则进入先前安装位置的文件夹,并在Git Bash窗口并输入
git pull
即可更新程序。
接下来读者需要下载SDXL 1.0模型、细化器、VAE等档案,并放置于对应文件夹
相关档案下载
SDXL 1.0模型下载点:https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/blob/main/sd_xl_base_1.0.safetensors
细化器模型下载点:https://huggingface.co/stabilityai/stable-diffusion-xl-refiner-1.0/blob/main/sd_xl_refiner_1.0.safetensors
SDXL 1.0与细化器模型安装位置:<安装路径>\ stable-diffusion-webui\models\Stable-diffusion\SDXL_V1.0\
VAE模型下载点:
https://huggingface.co/stabilityai/sdxl-vae/blob/main/sdxl_vae.safetensorsVAE安装位置:<安装路径>\ stable-diffusion-webui\models\VAE
如果读者使用的显示卡之显示内存容量低于12GB,则建议参考2-1章节编写「RunSD.bat」的部分,在set COMMANDLINE_ARGS参数部分加入下列文字
–medvram
至于遇到不支持Float16资料格式的问题的话,则需加入下列2段文字
–no-half –disable-nan-check
完整RunSD.bat文件内容参考
@echo off
set PYTHON=
set GIT=
set VENV_DIR=
set COMMANDLINE_ARGS=–medvram –no-half –disable-nan-check –xformers –enable-insecure-extension-acces
call webui.bat
之后只需跟着2-1章节的方式启动新安装的Stable Diffusion WebUI,就可以开始使用SDXL 1.0,但是为了增加选择VAE的方便,这边建议修改设定,以开启VAE快捷菜单,方便切换VAE。 (笔者将一并开起CLIP快捷菜单)
读者需先进入Setting页面并点选Show all pages,接着透过搜索(Ctrl + F)Quicksettings list,并在字段中填入
sd_model_checkpoing,CLIP_stop_at_last_lauers,sd_vae
等3个项目,最后回到页面顶端点选Apply settings后,重新启动Stable Diffusion WebUI即可。
▲ 将SDXL 1.0与细化器模型放在SDXL_V1.0文件夹的好处,是可以在菜单中进行分类。
▲ 如果显示记体容量不足,执行时会出现「not enough memory」错误消息。
▲ 如果遇到数据格式兼容问题,则会出现「your video card does not support half type」错误消息。
▲ 这时候需编辑RunSD.bat档案,并在set COMMANDLINE_ARGS参数部分加入红线标示的「–medvram –no-half –disable-nan-check」等参数。
▲ VAE快捷菜单的设定方式为进入Setting页面并点击Show all pages。
▲ 接着透过搜索(Ctrl + F)Quicksettings list,并在字段中填入…「sd_model_checkpoing,CLIP_stop_at_last_lauers,sd_vae」。
▲ 需要注意的是,填写过程中字段会出现自动完成的选项,这时请点击对应的选项。 完成后最后回到页面顶端点击Apply settings后,重新启动Stable Diffusion WebUI。
▲ 重新启动后就会出现VAE快捷菜单。
在安装完SDXL 1.0之后,笔者将在下篇文章中说明SDXL 1.0与细化器的使用情况。