Stable Diffusion 常用的模型

Stable Diffusion 是一个基于扩散模型的生成式 AI 框架，它的强大在于其灵活性和对各种特定任务的适配能力。在社区和官方的支持下，围绕 Stable Diffusion 开发了许多模型，以满足不同的生成需求，如风格化绘画、真实照片生成、漫画创作等。本教程将介绍几种常用模型，包括它们的适用场景、下载方式及代码示例，并结合图解让学习更轻松。

1. 常用 Stable Diffusion 模型概览

1.1 官方模型

• Stable Diffusion Base (v1.x, v2.x)：

  • 适合一般用途，如写实场景生成。
  • 提供较高的生成质量。

• Stable Diffusion XL (SDXL)：

  • 高分辨率生成，适合打印或高清需求。
  • 强调对复杂场景和细节的渲染。

1.2 社区衍生模型

• Dreamlike Art：

  • 专为艺术创作优化。
  • 强调手绘风格与独特色彩表现。

• Realistic Vision：

  • 针对高写实风格优化，生成照片级画质。

• Anything V3/V4 (Anime)：

  • 专注于动漫风格的生成，支持角色、背景和漫画场景。

1.3 特化模型

• ControlNet：

  • 增强对结构输入的控制，如姿态、边缘、深度图。

• Inpainting Model：

  • 专用于图像修复和局部编辑。

• LORA（Low-Rank Adaptation）：

  • 小型模型，用于特定风格或领域的微调。

2. 模型下载与安装

2.1 Hugging Face 下载

1. 访问 Hugging Face 模型库。
2. 注册并获取访问令牌。
3. 下载模型权重文件 (.ckpt 或 .safetensors)。

2.2 安装模型到 Stable Diffusion WebUI

1. 将模型文件放入 models/Stable-diffusion 目录。
2. 重启 WebUI，模型会自动加载。

3. 模型使用代码示例

3.1 基础模型调用示例

以下代码使用 diffusers 库加载基础模型并生成图像。

from diffusers import StableDiffusionPipeline
import torch

# 加载模型
model_id = "CompVis/stable-diffusion-v1-4"
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe.to("cuda")  # 使用 GPU 加速

# 生成图像
prompt = "a futuristic cityscape with neon lights, cyberpunk style"
image = pipe(prompt).images[0]

# 保存图像
image.save("generated_image.png")

3.2 SDXL 模型调用

SDXL 模型适合高分辨率场景。

from diffusers import StableDiffusionXLImg2ImgPipeline
import torch

# 加载 SDXL 模型
model_id = "stabilityai/stable-diffusion-xl-base-1.0"
pipe = StableDiffusionXLImg2ImgPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe.to("cuda")

# 提示词
prompt = "a hyper-realistic painting of a landscape with mountains and rivers"
image = pipe(prompt, guidance_scale=7.5).images[0]

# 保存图像
image.save("sdxl_image.png")

3.3 使用 ControlNet 提高控制能力

ControlNet 增强了对输入的控制，如边缘、深度图。

from diffusers import StableDiffusionControlNetPipeline, ControlNetModel
import torch
from PIL import Image

# 加载 ControlNet 模型
controlnet = ControlNetModel.from_pretrained("lllyasviel/sd-controlnet-depth", torch_dtype=torch.float16)
pipe = StableDiffusionControlNetPipeline.from_pretrained(
    "runwayml/stable-diffusion-v1-5", controlnet=controlnet, torch_dtype=torch.float16
)
pipe.to("cuda")

# 加载深度图
depth_map = Image.open("depth_map.png")

# 提示词
prompt = "a futuristic city with flying cars"
image = pipe(prompt, image=depth_map, strength=0.8).images[0]

# 保存图像
image.save("controlnet_image.png")

4. 图解：模型选择流程

图 1：模型选择流程图

                 生成需求
                    ↓
+-------------------------+
|      艺术创作          | ← Dreamlike Art
| 写实照片生成          | ← Realistic Vision
| 动漫风格生成          | ← Anything V3/V4
+-------------------------+
                    ↓
         结构控制需求？  
             (是/否)
              ↓           ↓
      ControlNet       基础模型

5. 常见问题与解决方法

5.1 模型无法加载

• 问题：提示 model not found。
• 解决：确认模型文件路径正确，并确保文件格式为 .ckpt 或 .safetensors。

5.2 图像生成效果不佳

• 问题：生成的图像质量不高或与提示词不符。

• 解决：

  1. 增加提示词描述的细节。
  2. 提高采样步数（如从 20 提高到 50）。

5.3 内存不足

• 问题：GPU 显存不足，提示 CUDA out of memory。

• 解决：

  1. 使用 torch_dtype=torch.float16 降低显存占用。
  2. 降低生成图像的分辨率（如从 768x768 改为 512x512）。

6. 总结

Stable Diffusion 提供了多种模型以满足不同场景的生成需求。通过本篇教程，你可以快速理解并应用这些模型，为自己的项目增添创造力和技术能力。

无论是艺术创作还是写实生成，找到适合的模型是成功的第一步。立即实践，让 Stable Diffusion 成为你的创意工具！