elasticsearch日志文件定时清理

在Elasticsearch中，日志文件通常会增长到很大，为了定期清理这些日志文件，你可以使用Elasticsearch Curator工具或者Logstash等。以下是使用Elasticsearch Curator进行日志清理的示例步骤：

1. 安装Elasticsearch Curator：

pip install elasticsearch-curator

2. 创建一个配置文件 curator.yml：

client:
  hosts: ["localhost:9200"]
  url_prefix:
  use_ssl: False
  certificate:
  client_cert:
  client_key:
  ssl_no_validate: False
  http_auth:
  timeout: 30
  master_only: False
logging:
  loglevel: INFO
  logfile:
  logformat: default
  blacklist: ['elasticsearch', 'urllib3']

3. 创建一个清理策略的JSON文件，例如 action.json：

{
  "actions": [
    {
      "delete_indices": {
        "description": "Delete indices older than 30 days (based on index name)",
        "indices": "logstash-*",
        "ignore_empty_list": true,
        "force": true,
        "filters": {
          "filtertype": "pattern",
          "kind": "prefix",
          "value": "logstash-"
        }
      }
    }
  ]
}

4. 执行Curator以按照策略清理日志：

curator --config curator.yml --dry-run --file action.json

确保你已经根据你的Elasticsearch集群配置修改了 curator.yml 文件中的 hosts 和认证信息。使用 --dry-run 参数可以先模拟执行，以检查是否会删除错误的日志。移除 --dry-run 参数可以实际执行删除操作。

请注意，日志文件清理策略可能会根据你的具体需求有所不同，例如你可能需要根据日志的大小而不是日期来删除。在实际部署时，你可能需要将这个过程集成到定时任务中，比如使用cron job。