Elasticsearch:dense vector 数据类型及标量量化

在Elasticsearch中,dense_vector 数据类型用于存储密集向量,这些向量可以用于相似度搜索。密集向量是一组数值,没有缺失数据。

以下是一个创建包含 dense_vector 类型字段的映射的示例:




PUT my_index
{
  "mappings": {
    "properties": {
      "my_vector": {
        "type": "dense_vector",
        "dims": 3  // 指定向量的维度
      }
    }
  }
}

然后,您可以索引一个密集向量:




POST my_index/_doc/1
{
  "my_vector": [0.5, 10, 100.5]  // 向量的值
}

Elasticsearch 使用量化来优化向量的存储和搜索性能。量化是将向量中的每个数值除以一个量化范围(quantization\_gap),然后将结果舍入到最近的整数。这减少了需要存储的字节数,并允许更快的相似度搜索。

以下是一个量化向量搜索的示例:




POST my_index/_search
{
  "size": 10,
  "query": {
    "script_score": {
      "query": {
        "match_all": {}
      },
      "script": {
        "source": "cosineSimilarity(params.query_vector, 'my_vector') + 1.0",
        "params": {
          "query_vector": [0.7, 11, 101.5]  // 查询向量的值
        }
      }
    }
  }
}

在这个例子中,我们使用了一个脚本查询来计算查询向量和文档向量之间的余弦相似度,并将结果作为评分因子。这允许Elasticsearch执行基于向量相似度的查询。

评论已关闭

推荐阅读

DDPG 模型解析,附Pytorch完整代码
2024年11月24日
DQN 模型解析,附Pytorch完整代码
2024年11月24日
AIGC实战——Transformer模型
2024年12月01日
Socket TCP 和 UDP 编程基础(Python)
2024年11月30日
python , tcp , udp
如何使用 ChatGPT 进行学术润色?你需要这些指令
2024年12月01日
AI
最新 Python 调用 OpenAi 详细教程实现问答、图像合成、图像理解、语音合成、语音识别(详细教程)
2024年11月24日
ChatGPT 和 DALL·E 2 配合生成故事绘本
2024年12月01日
omegaconf,一个超强的 Python 库!
2024年11月24日
【视觉AIGC识别】误差特征、人脸伪造检测、其他类型假图检测
2024年12月01日
[超级详细]如何在深度学习训练模型过程中使用 GPU 加速
2024年11月29日
Python 物理引擎pymunk最完整教程
2024年11月27日
MediaPipe 人体姿态与手指关键点检测教程
2024年11月27日
深入了解 Taipy:Python 打造 Web 应用的全面教程
2024年11月26日
基于Transformer的时间序列预测模型
2024年11月25日
Python在金融大数据分析中的AI应用(股价分析、量化交易)实战
2024年11月25日
AIGC Gradio系列学习教程之Components
2024年12月01日
Python3 `asyncio` — 异步 I/O,事件循环和并发工具
2024年11月30日
llama-factory SFT系列教程:大模型在自定义数据集 LoRA 训练与部署
2024年12月01日
Python 多线程和多进程用法
2024年11月24日
Python socket详解,全网最全教程
2024年11月27日