大数据-76 Kafka 高级特性 稳定性-消费重复 生产者、Broker、消费者 导致的重复消费问题

在Kafka中，消息重复、重复消费可能由以下几个原因导致：

1. 生产者重复发送：生产者可能因为网络问题导致消息重复发送到同一个分区。
2. Broker故障：Broker宕机后重启可能导致已经提交的消息重新被消费。
3. 消费者故障：消费者宕机后重启，可能会再次处理已经提交的消息。
4. 消费者并发问题：如果消费者并发情况下处理消息，可能会导致重复消费。

解决方案：

1. 生产者端：确保消息的唯一性，可以使用Kafka提供的ID来追踪消息。
2. Broker端：确保Broker的日志（log）机制是可靠的，不会因为故障导致重复数据。

3. 消费者端：

   • 确保消费者ID的唯一性。
   • 使用消息的唯一标识（如ID或者时间戳）进行去重。
   • 实现幂等性日志记录，确保消费者重启后不会重复处理。

具体实现可以参考以下代码示例：

// 生产者设置
props.put("retries", 3); // 设置重试次数
props.put("acks", "all"); // 确保消息被所有副本收到
 
// 消费者设置
props.put("enable.auto.commit", "false"); // 禁用自动提交
props.put("isolation.level", "read_committed"); // 设置隔离级别
 
// 消费者代码中去重逻辑
String key = record.key();
String messageId = getMessageId(key);
if (isMessageProcessed(messageId)) {
    // 如果消息已处理，跳过
    continue;
}
 
// 标记消息为已处理
markMessageAsProcessed(messageId);
 
// 处理消息逻辑
processMessage(record);

在实际应用中，还需要根据具体业务场景和需求来设计合适的去重策略。