多模态向量检索系统实战：文本与图像的无缝融合

本文面向构建智能搜索、AI助理、知识库与推荐系统的开发者，手把手教你如何实现文本和图像“混合检索”。通过 CLIP 多模态模型和向量数据库（如 Elasticsearch/Faiss），构建一个真正理解图文语义的搜索系统。

🧭 目录

1. 多模态检索的背景与挑战
2. 系统架构图解
3. 多模态模型原理（以 CLIP 为例）
4. 文本与图像的向量生成
5. 向量存储与统一索引结构
6. 检索逻辑与文本图像互查
7. 实战代码实现：CLIP + Faiss/Elasticsearch
8. 系统部署建议与优化技巧
9. 总结与推荐拓展

1. 多模态检索的背景与挑战

🎯 背景

传统搜索系统通常是“单模态”的：

• 文本匹配文本（BM25）
• 图像查图像（如反向图搜）

但现代应用需要：

🧱 挑战

• 文本和图像的语义表达差异巨大
• 向量空间是否兼容？
• 如何统一编码 + 查询接口？

2. 系统架构图解（文字图）

                  +-------------------+
                  | 用户输入（文本/图像）|
                  +---------+---------+
                            |
                            v
            +---------------+---------------+
            |       多模态模型（如 CLIP）     |
            |    文本 or 图像 → 向量表示     |
            +---------------+---------------+
                            |
                            v
             +-----------------------------+
             |       向量数据库（Faiss / ES）|
             +-----------------------------+
                            |
                            v
                   返回相关内容（图或文）

3. 多模态模型原理：CLIP 简介

OpenAI 提出的 CLIP（Contrastive Language-Image Pre-training）模型是目前最流行的多模态编码器。

🚀 核心思想

• 图像输入 → CNN 编码器 → 向量 A
• 文本输入 → Transformer 编码器 → 向量 B
• 使用对比学习，使图文匹配的 A、B 更接近

# 示例任务：
图片：“一只坐在沙发上的猫”
文本：“A cat on the sofa”
→ 输出的图文向量应该非常接近（cosine 相似度高）

🔧 预训练模型

我们使用 openai/clip-vit-base-patch32 或 Salesforce/blip，也可使用中文模型如 chinese-clip-vit-base-patch16.

4. 文本与图像的向量生成（Python 实操）

安装依赖

pip install transformers torch torchvision faiss-cpu pillow

加载 CLIP 模型

from transformers import CLIPProcessor, CLIPModel
from PIL import Image
import torch

model = CLIPModel.from_pretrained("openai/clip-vit-base-patch32")
processor = CLIPProcessor.from_pretrained("openai/clip-vit-base-patch32")

文本向量化

text = ["a cat on the sofa"]
inputs = processor(text=text, return_tensors="pt", padding=True)
with torch.no_grad():
    text_features = model.get_text_features(**inputs)

图像向量化

image = Image.open("images/cat.jpg")
inputs = processor(images=image, return_tensors="pt")
with torch.no_grad():
    image_features = model.get_image_features(**inputs)

5. 向量存储与统一索引结构

方案一：本地 Faiss 实现

import faiss
import numpy as np

index = faiss.IndexFlatIP(512)  # 512是CLIP输出维度
vectors = text_features / text_features.norm()  # 归一化
index.add(vectors.numpy())

方案二：Elasticsearch 映射示例

PUT /clip_index
{
  "mappings": {
    "properties": {
      "type": { "type": "keyword" },  // text / image
      "content": { "type": "text" },
      "vector": {
        "type": "dense_vector",
        "dims": 512,
        "index": true,
        "similarity": "cosine",
        "index_options": { "type": "hnsw" }
      }
    }
  }
}

写入数据：

es.index(index="clip_index", document={
    "type": "image",
    "content": "cat.jpg",
    "vector": image_features[0].tolist()
})

6. 检索逻辑与文本图像互查

文本 → 查图像

query_text = "a cute kitten"
inputs = processor(text=[query_text], return_tensors="pt")
query_vector = model.get_text_features(**inputs)[0]
query_vector = query_vector / query_vector.norm()

# Faiss 示例：
D, I = index.search(query_vector.unsqueeze(0).numpy(), k=5)

图像 → 查文本

img = Image.open("images/query.jpg")
inputs = processor(images=img, return_tensors="pt")
query_vector = model.get_image_features(**inputs)[0]
query_vector = query_vector / query_vector.norm()

# 查询文本向量集合，找最接近的语义

7. 实战：构建文本图像融合检索系统（完整示例）

from transformers import CLIPProcessor, CLIPModel
from PIL import Image
import torch
import faiss
import os

model = CLIPModel.from_pretrained("openai/clip-vit-base-patch32")
processor = CLIPProcessor.from_pretrained("openai/clip-vit-base-patch32")

# 构建图像索引
image_vectors, img_paths = [], []
for path in os.listdir("images/"):
    img = Image.open(f"images/{path}")
    inputs = processor(images=img, return_tensors="pt")
    vec = model.get_image_features(**inputs)[0]
    vec = vec / vec.norm()
    image_vectors.append(vec.numpy())
    img_paths.append(path)

# 使用 Faiss 构建索引
index = faiss.IndexFlatIP(512)
index.add(np.vstack(image_vectors))

# 输入文本查询
query = "a dog on grass"
inputs = processor(text=[query], return_tensors="pt")
query_vec = model.get_text_features(**inputs)[0]
query_vec = query_vec / query_vec.norm()
D, I = index.search(query_vec.unsqueeze(0).numpy(), k=5)

# 显示匹配图像
for i in I[0]:
    print("匹配图像：", img_paths[i])

8. 系统部署建议与优化技巧

9. 总结与推荐拓展