大数据-78 Kafka 集群模式 集群的应用场景与Kafka集群的搭建 三台云服务器

在搭建Kafka集群时，我们需要确保每个broker有一个唯一的broker.id。我们可以在配置文件中手动指定，也可以让Kafka自动生成。

以下是在三台云服务器上搭建Kafka集群的步骤：

1. 安装Kafka

   在每台服务器上安装Kafka。

2. 配置Kafka

   修改配置文件config/server.properties：

   • 设置broker.id，确保每个broker的id不同。
   • 设置listeners，指定Kafka监听的IP和端口。
   • 设置zookeeper.connect，指定Zookeeper集群地址。

3. 分发Kafka到其他服务器

   使用scp或其他方式将Kafka分发到其他服务器。

4. 修改其他服务器的配置

   修改其他服务器的config/server.properties文件，更改broker.id以区分不同的服务器。

5. 启动Kafka集群

   在每台服务器上启动Kafka。

示例配置：

# 服务器1的配置
broker.id=1
listeners=PLAINTEXT://:9092
zookeeper.connect=zk1:2181,zk2:2181,zk3:2181
 
# 服务器2的配置
broker.id=2
listeners=PLAINTEXT://:9092
zookeeper.connect=zk1:2181,zk2:2181,zk3:2181
 
# 服务器3的配置
broker.id=3
listeners=PLAINTEXT://:9092
zookeeper.connect=zk1:2181,zk2:2181,zk3:2181

确保每个配置中的broker.id是唯一的，zookeeper.connect是Zookeeper集群的地址，listeners指定了Kafka监听的地址和端口。

最后，确保防火墙和网络设置允许相应的端口通信。