Stable Diffusion WebUI内存不够，CUDA Out of memory怎么解决？

1. 引言

在使用 Stable Diffusion WebUI 进行图像生成时，很多用户都会遇到 CUDA Out of Memory 错误。这是因为在图像生成过程中，显存（GPU memory）被大量消耗，尤其是在生成大分辨率图像时，显存容易不足。CUDA（Compute Unified Device Architecture）是 NVIDIA 提供的并行计算平台和编程模型，显存不足会导致无法继续训练或生成图像。

在本教程中，我们将详细探讨如何解决 Stable Diffusion WebUI 中出现的 CUDA Out of Memory 错误，并提供多种优化方法来减少内存占用，提升图像生成效率。

2. 环境准备

为了顺利进行后续操作，确保你已经安装并配置好了以下环境：

Python 3.8 及以上版本
CUDA 11.0 或以上版本：与 NVIDIA GPU 配套的驱动程序和 CUDA 库。
NVIDIA GPU：至少具有 6GB 显存的 GPU，建议使用更高显存的 GPU（如 16GB 或 24GB）。
Stable Diffusion WebUI：可以通过 AUTOMATIC1111 的 Stable Diffusion WebUI 项目进行安装。

如果你还未安装 Stable Diffusion WebUI，请按照下面的步骤进行安装：

git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui
cd stable-diffusion-webui
pip install -r requirements.txt

3. CUDA Out of Memory 错误的原因

CUDA Out of Memory 错误通常发生在以下几种情况：

图像分辨率过高：生成大尺寸图像需要占用大量显存。
批量生成过多图片：一次性生成多张图像会占用更多显存。
模型和显存不匹配：一些大模型可能需要更多的显存，而低显存的 GPU 无法满足。
其他并行任务占用显存：如果有其他程序同时占用 GPU 显存，可能导致 Stable Diffusion 无法获得足够的资源。

4. 解决 CUDA Out of Memory 错误的方法

4.1 降低图像分辨率

生成更小分辨率的图像会大大减少显存消耗。默认情况下，Stable Diffusion 使用 512x512 的分辨率进行生成，但你可以根据需求调整分辨率。

在 WebUI 中，你可以在生成设置中调整图像分辨率。例如，将分辨率从 512x512 改为 256x256，可以减少显存占用。

4.1.1 调整分辨率

在 WebUI 页面，进入 生成设置（生成图像的部分），将 Width 和 Height 参数调低。例如：

将宽度（Width）和高度（Height）分别调整为 256（而不是默认的 512）。

这样可以减少显存使用，同时图像质量也会有所下降，适用于不需要高清图像的应用场景。

4.2 减少批量生成的图像数量

在生成图像时，如果一次性生成多张图像，显存的消耗会显著增加。你可以将 Batch Size 设置为较小的值，逐个生成图像，以减少显存压力。

4.2.1 调整批次大小

在 WebUI 中，进入 生成设置，找到 Batch Size 设置，减少每次生成的图像数量，例如将 Batch Size 从 4 降为 1 或 2：

在生成时使用小批量（例如，设置为 Batch Size = 1），即每次只生成一张图像。

batch_size = 1  # 每次生成1张图像

通过降低批量大小，你可以减少显存消耗。

4.3 启用半精度浮点数（FP16）

Stable Diffusion 支持 半精度浮点数（FP16），这可以有效减少显存使用。FP16 模式比 FP32 使用的显存少约一半，因此启用 FP16 可以显著提高显存效率。

4.3.1 启用 FP16

在 WebUI 中，你可以通过勾选 “Use Half Precision (FP16)” 来启用半精度模式，或者在命令行启动时加上 --precision full 参数来启用：

python webui.py --precision full

4.4 启用显存优化（Memory Efficient Attention）

显存优化（Memory Efficient Attention，MEA）是一种针对 Transformer 模型的优化技术，专门设计用于减少 GPU 显存占用，特别适用于处理长文本或大图像的任务。

4.4.1 启用 MEA

在 WebUI 中，你可以启用 Memory Efficient Attention。只需在设置中勾选 Use Memory Efficient Attention 选项，或在启动时加上相关参数：

python webui.py --opt-split-attention

启用该功能后，生成的图像质量和速度可能略有影响，但显存占用将大幅降低。

4.5 使用更小的模型

如果你的 GPU 显存较小，可以选择使用显存消耗更少的小型模型版本。Stable Diffusion 提供了一些低显存消耗的模型，比如 Stable Diffusion v1.4 或者其他优化过的轻量级版本。

4.5.1 使用小型模型

你可以选择将模型换为显存消耗较少的版本，在 WebUI 设置中选择较小的模型，或者直接下载并加载这些模型。

# 下载并加载较小版本的模型
wget https://huggingface.co/CompVis/stable-diffusion-v-1-4-original/resolve/main/v1-4.ckpt

将模型替换为小型版本后，可以减少显存的占用。

4.6 清理显存

如果你在生成图像时频繁遇到显存不足的情况，可以尝试在每次生成图像后清理显存。可以使用以下代码手动清理显存：

import torch
torch.cuda.empty_cache()

这会强制清理 GPU 缓存，并可能解决显存不足的问题。

5. 高级技巧：使用多 GPU 或显存重用

5.1 使用多 GPU 加速

如果你有多张 GPU，可以尝试将图像生成任务分配到不同的 GPU 上。你可以通过设置 CUDA_VISIBLE_DEVICES 环境变量来指定 GPU，或者使用 torch 库中的分布式训练工具进行分配。

# 指定使用第0和第1号GPU
export CUDA_VISIBLE_DEVICES=0,1

5.2 显存重用与分布式训练

如果你使用多个 GPU 或者显存较小的单个 GPU，考虑使用 显存重用 或 梯度累积 方法来将任务拆分，并多次进行更新。使用 accelerate 库可以帮助你实现这一点，具体方法如下：

pip install accelerate
accelerate config

然后在训练或生成时，使用加速工具来分配显存。

6. 总结

CUDA Out of Memory 错误是使用 Stable Diffusion WebUI 时常见的问题，但通过合理的调整和优化，你可以有效解决显存不足的问题。以下是本教程中介绍的几种常见解决方案：

降低图像分辨率：减少生成图像的分辨率。
减少批量生成数量：减小每次生成的图像数量。
启用半精度浮点数（FP16）：减少显存占用。
启用显存优化（MEA）：减少显存消耗，特别适用于 Transformer 模型。
使用更小的模型：选择显存消耗更少的模型。
手动清理显存：定期清理显存缓存，避免内存泄漏。

通过这些优化，你可以显著减少 Stable Diffusion WebUI 的显存消耗，从而避免 CUDA Out of Memory 错误的发生。