Stable Diffusion 中放大图像的 3 种方法

在生成艺术或高分辨率图像的场景中，图像放大（Upscaling）是一项至关重要的技术。对于使用 Stable Diffusion 的创作者，有时需要将生成的低分辨率图像放大，同时保持甚至提升图像的细节质量和视觉效果。

本文将详细介绍在 Stable Diffusion 中实现图像放大的三种主流方法，包括 内置超分辨（Upscaling）功能、使用外部超分辨模型 和 基于 ESRGAN 的独立放大工具。本文提供详细说明、代码示例和图解，帮助你快速掌握这些技术。

目录

1. 图像放大技术概述
2. 方法一：内置超分辨模型 Upscaling
3. 方法二：结合外部超分辨模型
4. 方法三：使用 ESRGAN 工具放大
5. 对比与总结

1. 图像放大技术概述

图像放大指将图像分辨率提升到更高的像素大小，通常用于以下场景：

• 增强生成艺术的质量。
• 打印高分辨率的输出。
• 在不生成新图像的情况下优化视觉效果。

在 Stable Diffusion 的工作流中，图像放大分为两种主要类型：

1. 无损放大：尽可能保持原始图像的细节和色彩。
2. 风格化放大：在放大过程中添加新的细节或风格变化。

2. 方法一：内置超分辨模型 Upscaling

Stable Diffusion 提供了一些内置的超分辨功能，利用扩散模型本身对低分辨率图像进行增强。

配置与使用

以下是使用 Stable Diffusion WebUI 进行放大的示例代码：

from diffusers import StableDiffusionPipeline
import torch

# 加载 Stable Diffusion 模型
model_id = "stabilityai/stable-diffusion-x4-upscaler"
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16).to("cuda")

# 输入低分辨率图像路径
low_res_image_path = "path_to_low_res_image.jpg"

# 加载图像
from PIL import Image
low_res_image = Image.open(low_res_image_path).convert("RGB")

# 放大图像
upscaled_image = pipe(prompt="", image=low_res_image).images[0]

# 保存放大后的图像
upscaled_image.save("upscaled_image.jpg")

示例与说明

1. 模型选择：stable-diffusion-x4-upscaler 是专门用于 4 倍放大的模型。
2. 输入：一张低分辨率图像作为输入。
3. 输出：生成高分辨率的放大图像，同时尽可能保留原始细节。

3. 方法二：结合外部超分辨模型

除了内置功能，Stable Diffusion 可以与外部超分辨工具（如 Real-ESRGAN）结合使用，以实现更高质量的图像放大。

安装 Real-ESRGAN

pip install realesrgan

使用 Real-ESRGAN 放大图像

from realesrgan import RealESRGAN
from PIL import Image

# 加载 Real-ESRGAN 模型
model = RealESRGAN("cuda", scale=4)
model.load_weights("weights/RealESRGAN_x4.pth")

# 加载低分辨率图像
low_res_image_path = "path_to_low_res_image.jpg"
low_res_image = Image.open(low_res_image_path).convert("RGB")

# 放大图像
upscaled_image = model.predict(low_res_image)

# 保存放大后的图像
upscaled_image.save("real_esrgan_upscaled.jpg")

优点

• 细节增强：Real-ESRGAN 的结果通常在边缘和纹理细节上表现更优。
• 快速集成：可以直接将其与其他模型结合使用。

4. 方法三：使用 ESRGAN 工具放大

ESRGAN 是一个经典的图像放大工具，支持更灵活的风格调整。你可以在本地运行 ESRGAN 来处理图像。

安装与配置

使用 ESRGAN 需要从其 GitHub 仓库获取代码：

git clone https://github.com/xinntao/ESRGAN.git
cd ESRGAN
pip install -r requirements.txt

放大图像

将低分辨率图像放入 inputs 文件夹，然后运行以下命令：

python test.py --model_path models/RRDB_ESRGAN_x4.pth --input inputs --output results

输出效果

ESRGAN 支持生成不同风格和分辨率的图像，可以根据需要选择不同的预训练模型。

5. 对比与总结

使用建议

• 如果你需要快速放大图像并且质量要求一般，推荐使用 内置超分辨模型。
• 如果你希望生成高质量的放大图像，且对细节要求高，选择 Real-ESRGAN。
• 如果需要对图像风格和细节进行更深度的定制，可以尝试 ESRGAN。

示例图解

以下是三种方法对比的效果图：

• 原始图像
• 方法一：内置超分辨模型
• 方法二：Real-ESRGAN
• 方法三：ESRGAN

通过这些方法，您可以轻松在不同场景中选择适合的图像放大技术。