‌Elasticsearch分布式协调流程深度图解‌

本文将全面剖析 Elasticsearch 在集群模式下的数据写入、查询、分片路由、请求转发、故障转移等分布式协调机制，通过图示、流程说明和真实 DSL 示例，助你构建对 ES 集群内部协调原理的系统认知。

📚 目录

1. 分布式架构基础回顾
2. 节点角色简介
3. 写入流程图解与说明
4. 查询流程图解与说明
5. 请求转发与协调节点原理
6. 失败重试机制与副本容错
7. 代码示例：模拟写入与查询流程
8. 小结与实战建议

一、分布式架构基础回顾

Elasticsearch 是一个主从架构 + 分片机制的分布式搜索引擎。

• 每个索引由多个主分片 + 副本分片组成
• 分布在多个节点上，提高可用性与并发性

🔧 示例：

PUT /my_index
{
  "settings": {
    "number_of_shards": 3,
    "number_of_replicas": 1
  }
}

此设置意味着：

• 3 个主分片（Primary Shards）
• 每个主分片有 1 个副本（Replica Shard）
• 集群中总共存在 6 个分片

二、节点角色简介

⚠ 所有节点默认都具有协调能力，除非显式禁用。

三、写入流程图解与说明

✅ 写入流程图：

         +--------------------+
         | 客户端发送写入请求 |
         +--------------------+
                    |
                    v
         +--------------------+
         | 协调节点接收请求    |
         +--------------------+
                    |
        通过 hash(_id) 计算目标主分片
                    |
                    v
         +--------------------+
         | 找到主分片所在节点  |
         +--------------------+
                    |
                    v
         +--------------------+
         | 写入主分片成功      |
         +--------------------+
                    |
         广播写入请求至副本分片
                    |
         +--------------------+
         | 副本分片异步写入    |
         +--------------------+
                    |
                    v
         +--------------------+
         | 写入成功返回客户端  |
         +--------------------+

说明：

1. 协调节点负责计算 _id 的 hash 来确定应写入哪个主分片
2. 主分片成功写入后，副本分片进行异步写入（默认要求至少主分片成功即可返回）

四、查询流程图解与说明

✅ 查询流程图：

         +---------------------+
         | 客户端发送搜索请求   |
         +---------------------+
                     |
                     v
         +---------------------+
         | 协调节点接收请求     |
         +---------------------+
                     |
          选择每个分片的一个副本（主或副本）
                     |
                     v
     +-------------------+   +------------------+
     |   分片A（主）       |   |  分片B（副本）     |
     +-------------------+   +------------------+
            \                      /
             \                    /
              v                  v
         +------------------------------+
         | 协调节点聚合所有分片结果      |
         +------------------------------+
                     |
                     v
         +----------------------+
         |  返回客户端最终结果   |
         +----------------------+

说明：

• 每个分片都会执行一次查询，结果由协调节点合并并排序
• 查询过程支持 failover（副本失败自动切主）

五、请求转发与协调节点原理

假设客户端连接的节点不是主分片所在节点怎么办？

Elasticsearch 中，每个节点都可以作为协调节点，通过内部路由自动转发请求。

示例场景：

• 节点 A 是协调节点，收到写入请求
• 实际主分片在节点 C
• 节点 A 会将请求通过内部 transport 协议转发给节点 C 处理

六、失败重试机制与副本容错

写入容错

• 如果主分片写入失败 → 请求失败
• 如果副本写入失败 → 请求仍成功，但在后台日志中记录失败

查询容错

• 如果一个分片的副本节点挂掉
• 协调节点会自动尝试切换到其他副本或主分片继续查询

七、代码示例：模拟写入与查询流程

✅ 写入文档（自动路由）

POST /my_index/_doc/1001
{
  "title": "分布式协调机制",
  "category": "Elasticsearch"
}

实际由 ES 内部 hash 计算 _shard 负责路由到分片

✅ 查询文档（分片并发 + 聚合）

POST /my_index/_search
{
  "query": {
    "match": {
      "title": "协调"
    }
  }
}

✅ 查看路由分片信息（可视化验证）

GET /my_index/_search_shards

返回示例：

{
  "shards": [
    [
      {
        "index": "my_index",
        "shard": 0,
        "node": "node1",
        "primary": true
      }
    ],
    ...
  ]
}

八、小结与实战建议