FlinkCDC DataStream 同步Postgresql数据库 所有表字段类型通用实现方式

import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.table.api.bridge.java.StreamTableEnvironment;
import com.ververica.cdc.connectors.postgresql.PostgreSQLSource;
import com.ververica.cdc.debezium.StringDebeziumDeserializationSchema;
 
public class FlinkCDCPostgresExample {
    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env);
 
        Properties properties = new Properties();
        properties.setProperty("connector", "postgres-cdc");
        properties.setProperty("hostname", "your-db-host");
        properties.setProperty("port", "5432");
        properties.setProperty("username", "your-username");
        properties.setProperty("password", "your-password");
        properties.setProperty("database", "your-db-name");
        // 指定同步的表和字段，这里使用通配符同步所有表
        properties.setProperty("table-include-list", "your-db-name.%");
 
        // 创建 PostgreSQL-CDC source
        PostgreSQLSource<String> source = new PostgreSQLSource<>(
            properties,
            StringDebeziumDeserializationSchema.builder().build()
        );
 
        env.addSource(source).print();
 
        env.execute("Flink CDC Postgres Job");
    }
}

这段代码展示了如何使用Flink CDC连接器来同步PostgreSQL数据库的所有表。它创建了一个PostgreSQLSource，并将Debezium提供的变更事件（JSON字符串格式）作为数据源添加到Flink DataStream中。这个例子中使用了通配符来同步数据库中的所有表，并且没有指定具体的表名。实际使用时，需要根据具体情况调整配置属性，例如数据库的连接信息。