Elasticsearch同步中间件&同步工具选择与实现

from datetime import datetime
from elasticsearch import Elasticsearch
 
# 假设以下函数用于将数据同步到Elasticsearch
def sync_data_to_elasticsearch(data, index_name):
    es = Elasticsearch("http://localhost:9200")
    for item in data:
        doc_id = item.get('id')
        doc = {
            'id': doc_id,
            'title': item.get('title'),
            'content': item.get('content'),
            'timestamp': datetime.now().isoformat(),
        }
        es.index(index=index_name, id=doc_id, document=doc)
 
# 示例数据
data_to_sync = [
    {'id': 1, 'title': 'Document 1', 'content': 'Content for document 1'},
    {'id': 2, 'title': 'Document 2', 'content': 'Content for document 2'},
    # ...
]
 
# 调用函数进行同步
sync_data_to_elasticsearch(data_to_sync, 'my_index')

这个代码示例展示了如何使用Elasticsearch Python客户端将简单的数据字典同步到Elasticsearch中。这里的sync_data_to_elasticsearch函数接受一个数据列表和一个索引名称，然后将每个数据项索引到Elasticsearch中。这个过程包括创建一个Elasticsearch客户端实例、迭代数据项并将它们格式化为Elasticsearch文档，最后使用index方法将文档索引到指定的索引名中。