Kafka学习之：mac 上基础使用 python 来使用 kafka 的生产者和消费者进行数据处理

在macOS上使用Python进行Kafka生产者和消费者的基础用法，你需要使用kafka-python库。首先安装这个库：

pip install kafka-python

以下是生产者和消费者的示例代码：

生产者.py:

from kafka import KafkaProducer
import json
 
producer = KafkaProducer(bootstrap_servers=['localhost:9092'],
                         value_serializer=lambda m: json.dumps(m).encode('ascii'))
 
msg = {"name": "John", "age": 30}
producer.send('test-topic', msg)
producer.flush()  # 确保所有消息都已发送

消费者.py:

from kafka import KafkaConsumer
import json
 
consumer = KafkaConsumer('test-topic',
                         bootstrap_servers=['localhost:9092'],
                         auto_offset_reset='earliest',
                         value_deserializer=lambda m: json.loads(m.decode('ascii')))
 
for message in consumer:
    print(message.value)

确保你的Kafka服务器正在运行，并且主题test-topic已经创建。你可以使用kafka-topics.sh脚本或者Kafka管理工具来创建主题。

运行生产者将发送消息到test-topic，运行消费者将从该主题读取消息并打印出来。