深入解读 Elasticsearch 磁盘水位设置

'# 深入解读 Elasticsearch 磁盘水位设置

一、背景与问题

Elasticsearch 作为分布式搜索引擎，其核心特性之一是数据的持久化存储。在生产环境中，磁盘空间不足可能导致集群节点崩溃、数据写入失败甚至服务不可用。为应对这一风险，Elasticsearch 提供了磁盘水位（Disk Watermark）机制，通过动态监控磁盘使用情况并控制资源分配，确保集群在极端场景下的稳定性。

核心问题包括：

• 如何平衡磁盘空间利用率与集群可用性？
• 如何在数据增长时动态调整水位阈值？
• 如何避免因磁盘水位设置不当导致的性能瓶颈？

二、基本原理

1. 磁盘水位的定义与计算

Elasticsearch 的磁盘水位分为三个层级：

• low（低水位）：默认 85%（cluster.info.untracked）
• high（高水位）：默认 90%（cluster.info.untracked）
• flood（洪水水位）：默认 95%（cluster.info.untracked）

计算公式：

used = (total - free) / total * 100

当 used > high 时，Elasticsearch 会拒绝新写入请求（如索引、快照等），直到磁盘使用率下降至 low 以下。

2. 磁盘水位的触发条件

• 索引请求：当 used > high 时，索引操作会触发 IndexShardException
• 快照请求：当 used > flood 时，快照操作会触发 SnapshotException
• 分片分配：当节点磁盘使用率过高时，分片分配会被延迟

3. 磁盘水位与系统调用

Elasticsearch 通过 os::getDiskUsage() 接口获取磁盘使用情况，并结合 cluster.info.untracked 配置计算阈值。该接口底层调用的是 Linux 的 df 命令（通过 getmntinfo 系统调用）。

三、环境准备

1. 系统要求

• 操作系统：Linux（支持 df 命令）
• Elasticsearch 版本：7.x 及以上（支持动态水位调整）
• 磁盘类型：SSD（推荐）或高性能 HDD

2. 配置文件

在 elasticsearch.yml 中设置磁盘路径：

path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch

3. 权限配置

确保 Elasticsearch 服务账户对磁盘有读写权限：

sudo chown -R elasticsearch:elasticsearch /var/lib/elasticsearch
sudo chmod -R 750 /var/lib/elasticsearch

四、核心实现

1. 设置磁盘水位阈值

# 设置高水位为 80%（默认 90%）
curl -XPUT 'http://localhost:9200/_cluster/settings' -H 'Content-Type: application/json' -d'
{
  "cluster": {
    "untracked": {
      "high": "80%",
      "flood": "85%"
    }
  }
}'

关键代码解释：

• untracked 表示未跟踪的磁盘空间（即未被 Elasticsearch 显式标记为使用）
• high 水位控制索引操作，flood 控制快照操作
• 设置值格式为 XX%，不支持百分比小数（如 80.5% 无效）

2. 监控磁盘水位

# 获取当前磁盘水位配置
curl -XGET 'http://localhost:9200/_cluster/settings?pretty'

输出示例：

{
  "cluster": {
    "untracked": {
      "high": "80%",
      "flood": "85%"
    }
  }
}

3. 模拟磁盘水位触发场景

# 模拟磁盘空间不足
curl -XPOST 'http://localhost:9200/_bulk' -H 'Content-Type: application/json' -d'
{
  "index": { "_index": "test", "_id": "1" },
  "data": "a lot of data"
}
'

错误示例：
当磁盘使用率超过 high 水位时，会返回：

{
  "error": {
    "root_cause": [
      {
        "type": "index_shard_exception",
        "reason": "index [test] is read-only because a snapshot is in progress"
      }
    ],
    "type": "index_shard_exception",
    "reason": "index [test] is read-only because a snapshot is in progress"
  }
}

五、完整案例

1. 生产环境配置方案

场景：某电商平台需要保证 99.9% 的可用性，且每日新增 1TB 数据

配置步骤：

1. 设置磁盘水位：

   curl -XPUT 'http://localhost:9200/_cluster/settings' -H 'Content-Type: application/json' -d'
   {
     "cluster": {
    "untracked": {
      "high": "85%",
      "flood": "90%"
    }
     }
   }'

2. 配置索引生命周期管理（ILM）：

   PUT _ilm/policy/data_policy
   {
     "policy": {
    "phases": {
      "hot": {
        "min_age": "7d",
        "actions": {
          "rollover": {
            "max_size": "50GB"
          }
        }
      },
      "warm": {
        "min_age": "30d",
        "actions": {
          "set_priority": "warm"
        }
      },
      "delete": {
        "min_age": "90d",
        "actions": {
          "delete": { "ignore_empty": true }
        }
      }
    }
     }
   }

3. 配置快照策略：

   PUT _snapshot/my_backup
   {
     "type": "fs",
     "settings": {
    "location": "/mnt/backups"
     }
   }

关键代码解释：

• 索引生命周期管理（ILM）通过 rollover 策略控制分片增长，避免单个分片过大
• 快照策略需要独立配置，且快照目录需要独立于主数据目录
• 需要为快照目录配置独立的磁盘空间（建议至少 20% 的主数据空间）

2. 磁盘水位监控集成

import requests

def monitor_disk_watermark():
    url = "http://localhost:9200/_cluster/settings"
    response = requests.get(url)
    data = response.json()
    
    high = data["cluster"]["untracked"]["high"]
    flood = data["cluster"]["untracked"]["flood"]
    
    # 获取当前磁盘使用情况
    disk_usage = get_disk_usage()
    
    if disk_usage > flood:
        print(f"Critical: Disk usage {disk_usage}% exceeds flood threshold {flood}")
    elif disk_usage > high:
        print(f"Warning: Disk usage {disk_usage}% exceeds high threshold {high}")

性能优化：

• 使用 Prometheus + Grafana 监控磁盘使用情况
• 设置 cluster.info.untracked 为 false 时，水位计算会排除未跟踪的磁盘空间
• 在磁盘空间不足时，可以通过 cluster.info.untracked 调整阈值

六、源码解析

1. Elasticsearch 源码中的磁盘水位处理

在 src/main/java/org/elasticsearch/common/cluster/ClusterSettings.java 中，定义了磁盘水位的配置参数：

public static final String CLUSTER_UNTRACKED_HIGH = "cluster.info.untracked.high";
public static final String CLUSTER_UNTRACKED_FLOOD = "cluster.info.untracked.flood";

2. 磁盘水位触发逻辑

在 src/main/java/org/elasticsearch/cluster/ClusterState.java 中，通过 getDiskUsage() 方法获取磁盘使用情况：

public static double getDiskUsage(String path) {
    // 调用 os::getDiskUsage() 获取磁盘使用情况
    // 实现细节：通过调用 df 命令解析磁盘使用情况
}

3. 磁盘水位调整逻辑

在 src/main/java/org/elasticsearch/cluster/ClusterState.java 中，通过 adjustDiskWatermark() 方法动态调整水位：

public void adjustDiskWatermark() {
    double usage = getDiskUsage();
    double high = getClusterSetting(CLUSTER_UNTRACKED_HIGH);
    double flood = getClusterSetting(CLUSTER_UNTRACKED_FLOOD);
    
    if (usage > flood) {
        triggerFloodProtection();
    } else if (usage > high) {
        triggerHighProtection();
    }
}

七、进阶使用

1. 动态调整水位阈值

# 动态调整高水位为 80%
curl -XPUT 'http://localhost:9200/_cluster/settings' -H 'Content-Type: application/json' -d'
{
  "cluster": {
    "untracked": {
      "high": "80%"
    }
  }
}'

2. 结合监控系统

import requests
from prometheus_client import start_http_server, Gauge

disk_usage = Gauge('elasticsearch_disk_usage', 'Elasticsearch disk usage percentage')

def update_metrics():
    response = requests.get("http://localhost:9200/_cluster/stats")
    usage = float(response.json()["nodes"]["node"]["fs"]["total"]["total_in_bytes"])
    disk_usage.set(usage / 1024 / 1024 / 1024)

3. 磁盘水位与分片分配策略

public class ShardAllocation {
    public void allocateShards() {
        double diskUsage = getDiskUsage();
        if (diskUsage > 90) {
            // 延迟分片分配
            Thread.sleep(1000);
        }
    }
}

八、性能与工程实践

1. 磁盘水位的性能影响

• 索引写入延迟：当磁盘水位达到 high 时，索引操作会触发 Read-only 状态，导致写入延迟增加
• 快照失败：当磁盘水位达到 flood 时，快照操作会失败，需要手动调整水位

2. 磁盘水位的优化策略

3. 磁盘水位的安全风险

• 数据丢失风险：当磁盘空间不足时，可能导致快照失败，数据未被备份
• 服务不可用风险：磁盘水位触发后，索引操作会失败，影响业务连续性
• 配置错误风险：错误设置水位阈值可能导致集群频繁触发告警

九、常见问题与踩坑

1. 常见错误配置

错误示例：

# 错误配置：设置为 100%
curl -XPUT 'http://localhost:9200/_cluster/settings' -H 'Content-Type: application/json' -d'
{
  "cluster": {
    "untracked": {
      "high": "100%"
    }
  }
}'

错误原因：设置为 100% 会导致水位永远无法触发，集群可能因磁盘满而崩溃

解决办法：设置为 95% 或更低的值，保留安全余量

2. 磁盘水位未生效的排查

可能原因：

• 未正确设置 cluster.info.untracked 参数
• 磁盘路径未被 Elasticsearch 监控
• 系统磁盘空间不足（未被 Elasticsearch 计算）

解决办法：

# 检查配置
curl -XGET 'http://localhost:9200/_cluster/settings?pretty'

# 检查磁盘路径
curl -XGET 'http://localhost:9200/_nodes/settings?pretty'

3. 磁盘水位触发后无法恢复

可能原因：

• 快照目录空间不足
• 磁盘空间不足且未设置 cluster.info.untracked 为 false

解决办法：

• 扩展磁盘空间
• 调整 cluster.info.untracked 阈值
• 清理旧数据或快照

十、最佳实践

1. 推荐配置方案

2. 监控建议

• 使用 Prometheus 监控磁盘使用情况
• 设置 Grafana 告警规则（当磁盘使用率 > 95% 时触发）
• 记录磁盘水位触发事件日志

3. 安全建议

• 配置磁盘空间监控告警
• 定期清理旧快照和索引
• 对关键数据设置多个副本

十一、总结

Elasticsearch 磁盘水位设置是确保集群稳定性的关键机制，其核心原理是通过动态监控磁盘使用情况并控制资源分配。在实际应用中，需要根据业务需求和硬件条件合理配置水位阈值，同时结合监控系统和索引生命周期管理策略，确保集群在极端场景下的可用性。

关键注意事项包括：

• 避免设置过高的水位阈值
• 定期清理旧数据和快照
• 配置磁盘空间监控告警
• 在磁盘空间不足时及时扩容

通过合理配置磁盘水位，可以有效预防磁盘空间不足导致的集群故障，同时确保数据的完整性和可用性。