构建Python中的分布式日志系统：ELK与Fluentd的结合

from fluent.handler.elasticsearch_handler import ElasticsearchHandler
from fluent.config.fluent_config import FluentConfig
from fluent.sender import Sender
 
# 配置Fluentd的服务器地址和端口
fluent_config = FluentConfig(
    tag='my_app_tag',
    host='localhost',
    port=24224
)
 
# 初始化ElasticsearchHandler
elasticsearch_handler = ElasticsearchHandler(
    host='localhost',
    port=9200,
    index='my_app_logs',
    type='log'
)
 
# 创建Sender实例
sender = Sender()
 
# 添加Fluentd配置和Elasticsearch处理器
sender.add_handler(fluent_config)
sender.add_handler(elasticsearch_handler)
 
# 发送日志消息
sender.process({
    'message': '这是一条分布式日志信息',
    'level': 'INFO',
    'timestamp': '2023-04-01 12:00:00'
})
 
# 关闭Sender
sender.close()

这个代码示例展示了如何使用fluent-logger-python库来配置Fluentd，并发送日志到Elasticsearch。首先，我们配置了Fluentd的服务器地址和端口，然后初始化了ElasticsearchHandler来设置Elasticsearch的服务器地址、索引和文档类型。接着，我们创建了一个Sender实例，并添加了配置和处理器。最后，我们发送了一条日志消息，并在完成后关闭了Sender。