基于ELK（Elasticsearch、Logstash和Kibana）的日志采集与分析

# 示例配置Logstash的配置文件
input {
  file {
    path => "/var/log/application/*.log" # 日志文件的路径
    start_position => "beginning" # 从日志文件的开始进行读取
  }
}
 
filter {
  grok {
    match => { "message" => "%{DATA:timestamp}\s*%{DATA:severity}\s*%{DATA:thread}\s*%{DATA:class}\s*:\s*%{GREEDYDATA:message}" }
  }
  date {
    match => [ "timestamp" , "dd/MMM/YYYY:HH:mm:ss Z" ]
  }
}
 
output {
  elasticsearch {
    hosts => ["localhost:9200"] # Elasticsearch 服务器地址和端口
    index => "application-logs-%{+YYYY.MM.dd}" # 索引名称，包含日期
  }
}

这个配置文件定义了Logstash的输入、过滤和输出。它告诉Logstash去监控一个特定的日志文件夹下的日志文件，使用grok过滤器来解析每条日志，并将解析后的数据发送到Elasticsearch。这样就可以在Kibana中创建视图来监控和分析这些日志了。