MySQL同步ES方案

为了同步MySQL数据到Elasticsearch (ES)，你可以使用以下几种方案：

1. 使用第三方同步工具，例如:

   • Logstash
   • Kafka + Logstash
   • Debezium
2. 自己开发同步程序，使用MySQL binlog和Elasticsearch REST API。

以下是一个简单的Python脚本示例，使用MySQL Connector和Elasticsearch Python客户端来同步数据：

import mysql.connector
from elasticsearch import Elasticsearch, helpers
 
# MySQL 配置
mysql_config = {
    'host': 'localhost',
    'user': 'your_username',
    'password': 'your_password',
    'database': 'your_database'
}
 
# Elasticsearch 配置
es = Elasticsearch(['http://localhost:9200/'])
 
# 连接MySQL
cnx = mysql.connector.connect(**mysql_config)
cursor = cnx.cursor()
 
# 查询MySQL数据
cursor.execute("SELECT * FROM your_table")
rows = cursor.fetchall()
 
# 准备Elasticsearch的actions
actions = []
for row in rows:
    action = {
        '_index': 'your_index',
        '_type': '_doc',  # 使用Elasticsearch 7.x及以上版本的类型
        '_id': row[0],  # 假设使用第一列作为文档ID
        '_source': {
            'column1': row[1],
            'column2': row[2],
            # ... 其他列
        }
    }
    actions.append(action)
 
# 使用helpers库进行数据索引
helpers.bulk(es, actions)
 
# 关闭MySQL连接
cursor.close()
cnx.close()

确保替换 your_username, your_password, your_database, your_table, your_index 和 column1, column2 等为你的实际配置和数据表结构。

这个脚本只是一个简单的示例，实际应用中可能需要考虑更多因素，如同步的频率、错误处理、性能优化等。对于生产环境，你可能需要一个更复杂的解决方案，比如使用Logstash、Kafka或自定义的同步服务。