从 MySQL 到 ClickHouse 实时数据同步 —— MaterializeMySQL + Materialized View

-- 创建 MySQL 的 MaterializeMySQL 表引擎
CREATE TABLE mysql_table_engine (
  ... -- 定义字段
) ENGINE = MaterializeMySQL('localhost:3306', 'database', 'table', 'user', 'password');
 
-- 创建 ClickHouse 的目标表
CREATE TABLE clickhouse_table (
  ... -- 定义字段
) ENGINE = MergeTree()
ORDER BY (...) -- 定义排序键
SETTINGS index_granularity = 8192;
 
-- 创建一个 Materialized View 用于同步数据
CREATE MATERIALIZED VIEW view_sync_data AS
SELECT
  ... -- 选择需要同步的字段
FROM mysql_table_engine
ALL INNER JOIN clickhouse_table
USING (...) -- 定义连接键
WHERE (Event = 'INSERT' OR Event = 'UPDATE') -- 筛选事件类型
SETTINGS
  allow_partial_replICATION = 1,
  priority = 1;

这个例子展示了如何在ClickHouse中创建一个Materialized View来从MaterializeMySQL表引擎实时同步数据到ClickHouse的MergeTree表。这里的关键点是使用了CREATE TABLE语句来定义MySQL的实时同步，使用了CREATE MATERIALIZED VIEW来创建实时同步的视图。