Stable Diffusion 常用的模型
Stable Diffusion 是一个基于扩散模型的生成式 AI 框架，它的强大在于其灵活性和对各种特定任务的适配能力。在社区和官方的支持下，围绕 Stable Diffusion 开发了许多模型，以满足不同的生成需求，如风格化绘画、真实照片生成、漫画创作等。本教程将介绍几种常用模型，包括它们的适用场景、下载方式及代码示例，并结合图解让学习更轻松。
1. 常用 Stable Diffusion 模型概览
1.1 官方模型
Stable Diffusion Base (v1.x, v2.x)：
- 适合一般用途，如写实场景生成。
- 提供较高的生成质量。
Stable Diffusion XL (SDXL)：
- 高分辨率生成，适合打印或高清需求。
- 强调对复杂场景和细节的渲染。
1.2 社区衍生模型
Dreamlike Art：
- 专为艺术创作优化。
- 强调手绘风格与独特色彩表现。
Realistic Vision：
- 针对高写实风格优化，生成照片级画质。
Anything V3/V4 (Anime)：
- 专注于动漫风格的生成，支持角色、背景和漫画场景。
1.3 特化模型
ControlNet：
- 增强对结构输入的控制，如姿态、边缘、深度图。
Inpainting Model：
- 专用于图像修复和局部编辑。
LORA（Low-Rank Adaptation）：
- 小型模型，用于特定风格或领域的微调。
2. 模型下载与安装
2.1 Hugging Face 下载
- 访问 Hugging Face 模型库。
- 注册并获取访问令牌。
- 下载模型权重文件 (
.ckpt或.safetensors)。
2.2 安装模型到 Stable Diffusion WebUI
- 将模型文件放入
models/Stable-diffusion目录。 - 重启 WebUI，模型会自动加载。
3. 模型使用代码示例
3.1 基础模型调用示例
以下代码使用 diffusers 库加载基础模型并生成图像。
from diffusers import StableDiffusionPipeline
import torch
# 加载模型
model_id = "CompVis/stable-diffusion-v1-4"
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe.to("cuda") # 使用 GPU 加速
# 生成图像
prompt = "a futuristic cityscape with neon lights, cyberpunk style"
image = pipe(prompt).images[0]
# 保存图像
image.save("generated_image.png")3.2 SDXL 模型调用
SDXL 模型适合高分辨率场景。
from diffusers import StableDiffusionXLImg2ImgPipeline
import torch
# 加载 SDXL 模型
model_id = "stabilityai/stable-diffusion-xl-base-1.0"
pipe = StableDiffusionXLImg2ImgPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe.to("cuda")
# 提示词
prompt = "a hyper-realistic painting of a landscape with mountains and rivers"
image = pipe(prompt, guidance_scale=7.5).images[0]
# 保存图像
image.save("sdxl_image.png")3.3 使用 ControlNet 提高控制能力
ControlNet 增强了对输入的控制，如边缘、深度图。
from diffusers import StableDiffusionControlNetPipeline, ControlNetModel
import torch
from PIL import Image
# 加载 ControlNet 模型
controlnet = ControlNetModel.from_pretrained("lllyasviel/sd-controlnet-depth", torch_dtype=torch.float16)
pipe = StableDiffusionControlNetPipeline.from_pretrained(
"runwayml/stable-diffusion-v1-5", controlnet=controlnet, torch_dtype=torch.float16
)
pipe.to("cuda")
# 加载深度图
depth_map = Image.open("depth_map.png")
# 提示词
prompt = "a futuristic city with flying cars"
image = pipe(prompt, image=depth_map, strength=0.8).images[0]
# 保存图像
image.save("controlnet_image.png")4. 图解：模型选择流程
图 1：模型选择流程图
生成需求
↓
+-------------------------+
| 艺术创作 | ← Dreamlike Art
| 写实照片生成 | ← Realistic Vision
| 动漫风格生成 | ← Anything V3/V4
+-------------------------+
↓
结构控制需求？
(是/否)
↓ ↓
ControlNet 基础模型5. 常见问题与解决方法
5.1 模型无法加载
- 问题：提示
model not found。 - 解决：确认模型文件路径正确，并确保文件格式为
.ckpt或.safetensors。
5.2 图像生成效果不佳
- 问题：生成的图像质量不高或与提示词不符。
解决：
- 增加提示词描述的细节。
- 提高采样步数（如从 20 提高到 50）。
5.3 内存不足
- 问题：GPU 显存不足，提示
CUDA out of memory。 解决：
- 使用
torch_dtype=torch.float16降低显存占用。 - 降低生成图像的分辨率（如从
768x768改为512x512）。
- 使用
6. 总结
Stable Diffusion 提供了多种模型以满足不同场景的生成需求。通过本篇教程，你可以快速理解并应用这些模型，为自己的项目增添创造力和技术能力。
无论是艺术创作还是写实生成，找到适合的模型是成功的第一步。立即实践，让 Stable Diffusion 成为你的创意工具！