ES -倒排索引

warning: 这篇文章距离上次修改已过181天,其中的内容可能已经有所变动。

倒排索引(Inverted Index)是搜索引擎中一个核心数据结构,它用于加速查询过程。在Elasticsearch中,每个字段都有其自己的倒排索引。倒排索引的构建过程如下:

  1. 文档分词:将文档内容进行分词,生成词(Term)序列。
  2. 创建倒排列表:对于每个不重复的词,创建一个倒排列表,记录该词出现的文档ID和位置信息。

Elasticsearch中创建倒排索引的过程通常是自动完成的,当你索引一个文档时,Elasticsearch会自动为其字段构建倒排索引。

以下是一个简化的Elasticsearch倒排索引的示例:

假设我们有两个文档:

文档1: "Elasticsearch is a great search engine"

文档2: "Elasticsearch powers the internet"

分词后的词为:

"elasticsearch", "a", "great", "engine", "powers", "the", "internet"

对应的倒排索引可能如下:

  • "elasticsearch":文档1(0), 文档2(0)
  • "a":文档1(1), 文档2(1)
  • "great":文档1(1)
  • "engine":文档1(2)
  • "powers":文档2(2)
  • "the":文档2(3)
  • "internet":文档2(4)

在Elasticsearch中,倒排索引是针对每个字段的,并且包含以下信息:

  • 词的词频(TF):词在文档中出现的次数。
  • 逆文档频率(IDF):包含该词的文档数量的倒数。
  • 位置(Position):词在文档中的具体位置。
  • 偏移量(Offset):词在文档中的开始和结束位置。

当你执行查询时,Elasticsearch会利用这个倒排索引来快速找到包含特定词的文档,并根据查询的其他要求(如相关性得分)来排序这些文档。

评论已关闭

推荐阅读

DDPG 模型解析,附Pytorch完整代码
2024年11月24日
DQN 模型解析,附Pytorch完整代码
2024年11月24日
AIGC实战——Transformer模型
2024年12月01日
Socket TCP 和 UDP 编程基础(Python)
2024年11月30日
python , tcp , udp
如何使用 ChatGPT 进行学术润色?你需要这些指令
2024年12月01日
AI
最新 Python 调用 OpenAi 详细教程实现问答、图像合成、图像理解、语音合成、语音识别(详细教程)
2024年11月24日
ChatGPT 和 DALL·E 2 配合生成故事绘本
2024年12月01日
omegaconf,一个超强的 Python 库!
2024年11月24日
【视觉AIGC识别】误差特征、人脸伪造检测、其他类型假图检测
2024年12月01日
[超级详细]如何在深度学习训练模型过程中使用 GPU 加速
2024年11月29日
Python 物理引擎pymunk最完整教程
2024年11月27日
MediaPipe 人体姿态与手指关键点检测教程
2024年11月27日
深入了解 Taipy:Python 打造 Web 应用的全面教程
2024年11月26日
基于Transformer的时间序列预测模型
2024年11月25日
Python在金融大数据分析中的AI应用(股价分析、量化交易)实战
2024年11月25日
AIGC Gradio系列学习教程之Components
2024年12月01日
Python3 `asyncio` — 异步 I/O,事件循环和并发工具
2024年11月30日
llama-factory SFT系列教程:大模型在自定义数据集 LoRA 训练与部署
2024年12月01日
Python 多线程和多进程用法
2024年11月24日
Python socket详解,全网最全教程
2024年11月27日