如何使用 Elasticsearch 作为向量数据库

'# 如何使用 Elasticsearch 作为向量数据库

一、背景与问题

在现代推荐系统、图像检索、自然语言处理等场景中，向量相似度搜索是核心需求。传统的数据库难以高效处理高维向量的近似最近邻（ANN）搜索，而 Elasticsearch 通过其 dense_vector 类型和 knn 查询插件，提供了将向量作为数据类型进行存储和搜索的能力。本文将深入解析 Elasticsearch 作为向量数据库的原理、实现方式以及实际应用中的注意事项。

二、基本原理

Elasticsearch 作为向量数据库的核心原理是：

向量存储：通过 dense_vector 字段类型，将高维向量（如 128 维、512 维）作为二进制数据存储
近似最近邻算法：基于 HNSW（Hierarchical Navigable Small World）算法实现快速搜索
向量相似度计算：支持余弦相似度（cosine similarity）和欧氏距离（Euclidean distance）计算
混合查询支持：可以结合文本字段和向量字段进行混合搜索

Elasticsearch 的向量搜索本质上是将向量数据转换为 dense_vector 类型，然后通过 knn 查询进行近似匹配。这种机制在处理大规模向量数据时，比传统数据库的全量扫描效率提升数百倍。

三、环境准备

1. 系统要求

Elasticsearch 7.17+（支持 dense_vector 类型）
Java 11+
Python 3.8+（用于示例代码）

2. 安装 Elasticsearch

# 安装 Elasticsearch
curl -L https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.17.5-linux-x86_64.tar.gz | tar xz

3. 启动 Elasticsearch

./elasticsearch-7.17.5/bin/elasticsearch

4. 验证安装

curl -X GET "http://localhost:9200/_cluster/health?pretty"

四、核心实现

1. 向量数据类型定义

Elasticsearch 的 dense_vector 类型支持 16 位、32 位、64 位浮点数的向量存储。我们需要在索引映射中定义该字段：

PUT /vector_index
{
  "mappings": {
    "properties": {
      "vector_field": {
        "type": "dense_vector",
        "dims": 128  // 向量维度
      },
      "text_field": {
        "type": "text"
      }
    }
  }
}

关键代码解释：

dims 参数指定向量维度，必须与实际数据维度一致
dense_vector 类型支持 16/32/64 位浮点数，推荐使用 32 位以节省存储空间

2. 向量数据插入

POST /vector_index/_doc
{
  "vector_field": [1.2, 0.5, -0.3, ...],  // 128 维向量
  "text_field": "示例文本"
}

3. 向量相似度搜索

GET /vector_index/_search
{
  "query": {
    "knn": {
      "vector_field": {
        "vector": [0.1, 0.2, 0.3, ...],  // 查询向量
        "k": 5,                         // 返回前5个最相似结果
        "num_candidates": 100           // 候选集大小
      }
    }
  }
}

关键代码解释：

k 参数控制返回结果数量
num_candidates 控制候选集大小，值越大搜索越精确但性能下降
knn 查询默认使用余弦相似度（cosine similarity）

4. 混合查询

GET /vector_index/_search
{
  "query": {
    "bool": {
      "must": [
        { "match": { "text_field": "关键词" } },
        {
          "knn": {
            "vector_field": {
              "vector": [0.1, 0.2, 0.3, ...],
              "k": 5
            }
          }
        }
      ]
    }
  }
}

五、完整案例

1. 商品推荐系统案例

场景：电商平台需要根据商品特征向量进行相似商品推荐

步骤：

创建索引

PUT /products
{
  "mappings": {
 "properties": {
   "product_id": { "type": "keyword" },
   "vector_field": {
     "type": "dense_vector",
     "dims": 128
   },
   "title": { "type": "text" }
 }
  }
}

插入商品数据

POST /products/_doc
{
  "product_id": "1001",
  "vector_field": [0.1, 0.2, 0.3, ...],
  "title": "无线蓝牙耳机"
}

查询相似商品

GET /products/_search
{
  "query": {
 "knn": {
   "vector_field": {
     "vector": [0.1, 0.2, 0.3, ...],
     "k": 5
   }
 }
  }
}

性能优化建议：

对 vector_field 字段创建索引
使用 filter 上下文进行过滤查询
使用 script_score 进行更精细的相似度计算

六、源码解析

1. Elasticsearch 向量搜索核心逻辑

Elasticsearch 的向量搜索基于 HNSW 算法实现，核心代码位于 src/main/java/org/elasticsearch/index/field/values/VectorValues.java。关键逻辑包括：

public class HnswIndex {
    private final int dim;
    private final float[] vectors;
    private final int[] labels;
    
    public HnswIndex(int dim, float[] vectors, int[] labels) {
        this.dim = dim;
        this.vectors = vectors;
        this.labels = labels;
    }
    
    public float[] getVector(int index) {
        return Arrays.copyOfRange(vectors, index * dim, (index + 1) * dim);
    }
    
    public float cosineSimilarity(float[] vec1, float[] vec2) {
        float dot = 0.0f;
        float norm1 = 0.0f;
        float norm2 = 0.0f;
        
        for (int i = 0; i < dim; i++) {
            dot += vec1[i] * vec2[i];
            norm1 += vec1[i] * vec1[i];
            norm2 += vec2[i] * vec2[i];
        }
        
        return dot / (Math.sqrt(norm1) * Math.sqrt(norm2));
    }
}

关键点：

向量存储使用浮点数组
使用余弦相似度计算相似度
支持动态扩展和删除操作

七、进阶使用

1. 动态向量维度调整

PUT /vector_index
{
  "mappings": {
    "properties": {
      "vector_field": {
        "type": "dense_vector",
        "dims": 128
      }
    }
  }
}

注意事项：

修改 dims 会重建索引
建议在数据导入前确定维度

2. 向量归一化

POST /vector_index/_doc
{
  "vector_field": [0.1, 0.2, 0.3, ...],
  "text_field": "示例文本"
}

归一化处理：

import numpy as np

def normalize_vector(vec):
    return vec / np.linalg.norm(vec)

3. 混合评分机制

GET /vector_index/_search
{
  "query": {
    "script_score": {
      "script": {
        "source": """
          double cosine = 0.0;
          double norm1 = 0.0;
          double norm2 = 0.0;
          for (int i = 0; i < params._source.vector_field.length; i++) {
            cosine += params._source.vector_field[i] * doc['vector_field'][i];
            norm1 += params._source.vector_field[i] * params._source.vector_field[i];
            norm2 += doc['vector_field'][i] * doc['vector_field'][i];
          }
          return cosine / (Math.sqrt(norm1) * Math.sqrt(norm2));
        """,
        "params": {
          "vector_field": [0.1, 0.2, 0.3, ...]
        }
      }
    }
  }
}

八、性能与工程实践

1. 性能优化策略

优化策略	说明
分片策略	采用 `number_of_shards=1` 保持向量索引一致性
索引策略	使用 `refresh_interval=-1` 关闭自动刷新
硬件配置	使用 SSD 存储，至少 16GB 内存
缓存机制	启用 `index.cache.field.enable` 缓存向量数据

2. 异常处理

常见错误：

向量维度不一致
未启用 dense_vector 类型
查询向量维度与索引不匹配

解决办法：

PUT /vector_index/_settings
{
  "index": {
    "mapping": {
      "total_fields": {
        "limit": 2000
      }
    }
  }
}

3. 安全风险

潜在风险：

向量数据可能包含敏感信息
未设置访问控制可能导致数据泄露

解决方案：

PUT /vector_index/_security
{
  "indices": {
    "vector_index": {
      "read": ["user1"],
      "write": ["user2"]
    }
  }
}

九、常见问题与踩坑

1. 向量维度不一致错误

错误示例：

{
  "error": {
    "root_cause": [
      {
        "type": "illegal_argument_exception",
        "reason": "Vector field [vector_field] has dimension 128, but the provided vector has dimension 127"
      }
    ],
    "type": "illegal_argument_exception",
    "reason": "Vector field [vector_field] has dimension 128, but the provided vector has dimension 127"
  }
}