ElasticSearch 8.x 安装及集群搭建

'# ElasticSearch 8.x 安装及集群搭建

一、背景与问题

ElasticSearch 是一个基于 Lucene 的分布式搜索和分析引擎，广泛用于日志分析、全文检索、实时数据分析等场景。随着数据量的增长，单机版的搜索系统已无法满足需求，因此需要通过集群化部署实现水平扩展。ElasticSearch 8.x 版本引入了多租户架构、更严格的集群配置要求以及改进的资源管理机制，这些变化对开发和运维提出了新的挑战。

在实际项目中，ElasticSearch 集群的搭建需要解决以下核心问题：

如何在多节点间正确分配分片和副本
如何保证集群的高可用性和数据一致性
如何在不同硬件条件下优化性能
如何处理常见的配置错误和性能瓶颈

二、基本原理

1. 分布式架构设计

ElasticSearch 的分布式架构由以下核心组件构成：

Node：集群中的一个节点，可承担数据存储、查询、索引等角色
Cluster：由多个节点组成的集合，形成逻辑上的单一搜索集群
Index：索引是存储数据的逻辑容器，包含多个分片（Shard）
Shard：索引的物理分片，可以分布在不同节点上
Replica：分片的副本，用于提高读取性能和数据冗余

在 Elasticsearch 8.x 中，分片机制进行了重要改进：

引入了分片可见性控制（Shard Visibility）
增强了分片再平衡算法
支持动态分片调整（Auto-Expand Shards）

2. 集群状态管理

ElasticSearch 通过以下机制维护集群状态：

Cluster State：记录集群的元数据信息（索引配置、分片分配等）
Master Node：负责集群状态管理的主节点
Data Node：负责存储和计算的节点
Client Node：处理客户端请求的节点（可选）

在 8.x 中，新增了多租户支持，通过xpack.security.tenants配置项实现租户隔离。

3. 数据一致性保障

ElasticSearch 通过以下机制保证数据一致性：

Write Consistency：写操作的强一致性保证
Read Consistency：读操作的最终一致性保证
Snapshot/Restore：数据快照机制
Merge Process：段合并机制

三、环境准备

1. 系统要求

ElasticSearch 8.x 支持以下操作系统：

Linux (x86_64)
macOS (x86_64)
Windows (10/11)

推荐配置：

CPU: 4核以上
内存: 8GB 以上
磁盘: SSD 50GB 以上
网络: 零信任网络架构（推荐使用VPC）

2. 安装方式选择

方案一：Docker 安装（推荐）

# 安装 Docker
sudo apt-get update && sudo apt-get install docker.io -y

# 拉取官方镜像
docker pull docker.elastic.co/elasticsearch/elasticsearch:8.8.0

# 创建数据卷
docker volume create es_data
docker volume create es_config

方案二：源码安装

# 安装依赖
sudo apt-get update && sudo apt-get install openjdk-17-jdk -y

# 下载并解压
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-8.8.0-linux-x86_64.tar.gz
tar -xzf elasticsearch-8.8.0-linux-x86_64.tar.gz

四、核心实现

1. 集群配置文件

创建elasticsearch.yml配置文件：

# elasticsearch.yml
cluster.name: my-cluster
node.name: node-1
network.host: 0.0.0.0
discovery.seed_hosts: ["192.168.1.101", "192.168.1.102", "192.168.1.103"]
cluster.initial_master_nodes: ["node-1", "node-2", "node-3"]
xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.key_path: /path/to/keys/elastic-certificates.pem
xpack.security.transport.ssl.certificate_path: /path/to/keys/elastic-certificates.pem
xpack.security.transport.ssl.certificate_authorities: /path/to/keys/elastic-certificates.pem

关键参数解释：

cluster.name：集群名称
discovery.seed_hosts：初始发现节点列表
cluster.initial_master_nodes：初始主节点列表
xpack.security.*：安全配置（必须启用）

2. 节点角色配置

node.roles: ["master", "data", "ingest"]

不同角色的配置要求：

角色	必要配置	说明
master	cluster.name, discovery.*	集群状态管理
data	data_path, index.*	数据存储和计算
ingest	pipeline.*	数据预处理和转换

3. 脚本配置示例

#!/bin/bash

# 创建证书
openssl req -new -x509 -nodes -out elastic-certificates.pem -keyout elastic-certificates.pem -days 365 -subj "/CN=elastic"

# 启动集群
docker run -d \
  --name es-cluster \
  --network=host \
  -v es_data:/usr/share/elasticsearch/data \
  -v es_config:/usr/share/elasticsearch/config \
  -v es_plugins:/usr/share/elasticsearch/plugins \
  -e "discovery.seed_hosts=192.168.1.101,192.168.1.102,192.168.1.103" \
  -e "cluster.initial_master_nodes=node-1,node-2,node-3" \
  -e "xpack.security.transport.ssl.enabled=true" \
  -e "xpack.security.transport.ssl.key_path=/usr/share/elasticsearch/config/elastic-certificates.pem" \
  -e "xpack.security.transport.ssl.certificate_path=/usr/share/elasticsearch/config/elastic-certificates.pem" \
  -e "xpack.security.transport.ssl.certificate_authorities=/usr/share/elasticsearch/config/elastic-certificates.pem" \
  -e "cluster.name=my-cluster" \
  -e "node.name=node-1" \
  -e "node.roles=master,data,ingest" \
  docker.elastic.co/elasticsearch/elasticsearch:8.8.0

五、完整案例

1. 日志分析系统部署

1.1 集群部署架构

+-----------------+        +-----------------+        +-----------------+
|  Logstash       |        |  Elasticsearch   |        |  Kibana         |
| (数据采集)      |        | (数据存储)      |        | (数据可视化)    |
+----------+      +----------+      +----------+
           |              |              |
           |              |              |
           v              v              v
       +-----------------+      +-----------------+      +-----------------+
       |  Filebeat       |      |  Redis          |      |  MySQL          |
       | (数据源)        |      | (缓存)         |      | (数据库)        |
       +-----------------+      +-----------------+      +-----------------+

1.2 配置步骤

步骤1：创建索引模板

PUT _index_template/log_template
{
  "index_patterns": ["log-*"],
  "settings": {
    "number_of_shards": 3,
    "number_of_replicas": 1,
    "analysis": {
      "analyzer": {
        "custom_analyzer": {
          "type": "custom",
          "tokenizer": "standard",
          "filter": ["lowercase"]
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "timestamp": { "type": "date" },
      "level": { "type": "keyword" },
      "source": { "type": "keyword" },
      "message": { "type": "text" }
    }
  }
}

步骤2：配置Logstash

input {
  beats {
    port => 5044
  }
}

filter {
  grok {
    match => { "message" => "%{COMBINEDAPACHELOG}" }
  }
  date {
    match => [ "timestamp", "ISO8601" ]
  }
}

output {
  elasticsearch {
    hosts => ["http://localhost:9200"]
    index => "log-%{+YYYY.MM.dd}"
  }
}

步骤3：配置Kibana

PUT /_license
{
  "license": {
    "type": "basic",
    "issue_date": "2023-04-01",
    "expiry_date": "2024-04-01"
  }
}

六、源码解析

1. 分片分配算法

ElasticSearch 的分片分配算法主要在ShardRoutingTable类中实现，核心逻辑如下：

public class ShardRoutingTable {
    // 主要方法：allocateShards
    public void allocateShards(ShardRoutingTable shardRoutingTable) {
        List<ShardRouting> unassignedShards = getUnassignedShards();
        for (ShardRouting shard : unassignedShards) {
            // 根据负载均衡算法选择目标节点
            Node node = selectTargetNode(shard);
            shard.assign(node);
            updateClusterState(shard);
        }
    }
    
    // 选择目标节点的算法
    private Node selectTargetNode(ShardRouting shard) {
        // 实现负载均衡逻辑
        // 可能包括：节点负载、分片数量、数据分布等指标
    }
}

2. 集群状态更新

public class ClusterState {
    // 主要方法：update
    public void update(ClusterState oldState) {
        // 更新集群状态
        // 包括索引配置、分片分配、节点状态等信息
        // 触发相关监听器
        notifyListeners(oldState);
    }
    
    // 触发监听器
    private void notifyListeners(ClusterState oldState) {
        for (ClusterStateListener listener : listeners) {
            listener.onClusterStateUpdate(oldState, this);
        }
    }
}

七、进阶使用

1. 动态分片调整

PUT /log-2023.04.01/_settings
{
  "number_of_shards": 5
}

2. 分片再平衡

# 查看分片分布
GET _cat/shards?v

# 触发再平衡
POST _cluster/reroute
{
  "commands": [
    {
      "move": {
        "index": "log-2023.04.01",
        "shard": 0,
        "from_node": "node-1",
        "to_node": "node-2"
      }
    }
  ]
}

3. 分片可见性控制

GET /_cluster/health
{
  "shards": {
    "total": 10,
    "visible": 8,
    "hidden": 2
  }
}

八、性能与工程实践

1. 性能优化策略

优化策略	说明	建议值
分片数量	避免过多分片导致元数据开销	建议1-3个分片
副本数量	提高读取性能但增加存储开销	建议1-2个副本
内存设置	控制堆内存大小	建议不超过内存的50%
磁盘IO	使用SSD并启用磁盘缓存	启用`indices.memory.index_boost`
网络配置	优化传输协议和端口	使用`transport.tcp.compress: true`

2. 安全风险分析

风险类型	风险描述	解决方案
未启用SSL	明文传输数据	启用`xpack.security.transport.ssl.enabled: true`
弱密码策略	密码强度不足	配置`xpack.security.authc.http.basic`
未启用访问控制	未限制访问权限	配置`xpack.security.roles`
未启用审计日志	无法追踪敏感操作	启用`xpack.security.audit.enabled: true`

九、常见问题与踩坑

1. 常见错误及解决办法

错误1：集群状态不一致

{
  "cluster_state": {
    "state": "red"
  }
}

解决办法：

检查分片分配
确认所有节点在线
检查索引配置

错误2：分片分配失败

{
  "error": {
    "type": "cluster_block_exception",
    "reason": "cluster has blocked due to [CLUSTER_READ_ONLY_BLOCK]"
  }
}