应用debezium将postgresql数据送至kafka(官网示例 本地docker部署)

以下是一个简化的解决方案,演示如何使用Debezium将PostgreSQL数据送至Kafka:

  1. 确保你已经安装了Docker和Docker Compose。
  2. 创建一个docker-compose.yml文件,用于启动PostgreSQL和Kafka服务:



version: '2.1'
 
services:
  zookeeper:
    image: wurstmeister/zookeeper
    ports:
      - "2181:2181"
 
  kafka:
    image: wurstmeister/kafka
    ports:
      - "9092:9092"
    environment:
      KAFKA_ADVERTISED_HOST_NAME: localhost
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock
 
  postgres:
    image: postgres
    ports:
      - "5432:5432"
    environment:
      POSTGRES_USER: postgres
      POSTGRES_PASSWORD: postgres
      POSTGRES_DB: postgres
 
  debezium-postgres:
    image: debezium/connect:1.8.0.Final
    ports:
      - "8083:8083"
    environment:
      GROUP_ID: 1
      CONFIG: >
        {
          "name": "postgres-connector",
          "config": {
            "connector.class": "io.debezium.connector.postgresql.PostgresConnector",
            "tasks.max": "1",
            "database.hostname": "postgres",
            "database.port": "5432",
            "database.user": "postgres",
            "database.password": "postgres",
            "database.dbname": "postgres",
            "database.server.name": "dbserver1",
            "topic.creation.enable": "false",
            "topic": "your-kafka-topic",
            "key.converter": "org.apache.kafka.connect.json.JsonConverter",
            "value.converter": "org.apache.kafka.connect.json.JsonConverter"
          }
        }
    depends_on:
      - zookeeper
      - kafka
      - postgres
  1. 在命令行中运行以下命令启动服务:



docker-compose up -d
  1. 确认所有服务都已启动:



docker ps
  1. 你现在可以将Debezium配置为监控PostgreSQL数据库的变更,并将这些变更发送至Kafka中指定的topic。

注意:这个例子中的配置可能需要根据你的环境进行调整,比如数据库的用户名、密码、数据库名称等。此外,Debezium配置中的database.server.nametopic和转换器配置(key.converter, value.converter)也需要根据实际情况进行设置。

评论已关闭

推荐阅读

DDPG 模型解析,附Pytorch完整代码
2024年11月24日
DQN 模型解析,附Pytorch完整代码
2024年11月24日
AIGC实战——Transformer模型
2024年12月01日
Socket TCP 和 UDP 编程基础(Python)
2024年11月30日
python , tcp , udp
如何使用 ChatGPT 进行学术润色?你需要这些指令
2024年12月01日
AI
最新 Python 调用 OpenAi 详细教程实现问答、图像合成、图像理解、语音合成、语音识别(详细教程)
2024年11月24日
ChatGPT 和 DALL·E 2 配合生成故事绘本
2024年12月01日
omegaconf,一个超强的 Python 库!
2024年11月24日
【视觉AIGC识别】误差特征、人脸伪造检测、其他类型假图检测
2024年12月01日
[超级详细]如何在深度学习训练模型过程中使用 GPU 加速
2024年11月29日
Python 物理引擎pymunk最完整教程
2024年11月27日
MediaPipe 人体姿态与手指关键点检测教程
2024年11月27日
深入了解 Taipy:Python 打造 Web 应用的全面教程
2024年11月26日
基于Transformer的时间序列预测模型
2024年11月25日
Python在金融大数据分析中的AI应用(股价分析、量化交易)实战
2024年11月25日
AIGC Gradio系列学习教程之Components
2024年12月01日
Python3 `asyncio` — 异步 I/O,事件循环和并发工具
2024年11月30日
llama-factory SFT系列教程:大模型在自定义数据集 LoRA 训练与部署
2024年12月01日
Python 多线程和多进程用法
2024年11月24日
Python socket详解,全网最全教程
2024年11月27日