Doris：MySQL数据同步到Doris的N种方式

Doris是一个开源的MPP数据库，主要用于数据分析。MySQL数据同步到Doris可以通过多种方式实现，以下是几种常见的方法：

1. 使用Doris自带的导入工具（例如：LOAD DATA INFILE）直接导入数据。
2. 使用第三方数据同步工具（例如：MaxCompute Sync for Doris）。
3. 使用数据库同步工具（例如：Canal、Maxwell等）来监听MySQL的binlog，然后将变更同步到Doris。
4. 编写脚本定时查询MySQL数据，然后使用Doris的插入语句（INSERT INTO）进行同步。

以下是一个示例代码，使用Python脚本结合PyMySQL和DorisDB的HTTP接口定期同步MySQL数据到Doris：

import pymysql
import requests
import schedule
 
# 连接MySQL
mysql_conn = pymysql.connect(host='your_mysql_host', user='your_mysql_user', password='your_mysql_password', db='your_mysql_db')
mysql_cursor = mysql_conn.cursor()
 
# 查询MySQL数据
def query_mysql():
    mysql_cursor.execute("SELECT * FROM your_mysql_table")
    return mysql_cursor.fetchall()
 
# 将数据同步到Doris
def sync_to_doris(data):
    url = "http://your_doris_fe_ip:8030/api/"
    headers = {"Content-Type": "text/plain"}
    data = "\n".join([",".join(map(str, row)) for row in data])
    response = requests.post(url, headers=headers, data=data)
    print(response.text)
 
# 调度任务
schedule.every(10).minutes.do(sync_to_doris, query_mysql())
 
while True:
    schedule.run_pending()

注意：

• 确保Doris的HTTP接口已经开启。
• 确保MySQL的用户有足够的权限去查询所需的数据。
• 确保脚本的执行权限和网络连接。
• 这只是一个简单的示例，实际应用中需要考虑更多的因素，例如错误处理、性能优化、安全性等。