1. 核心概念

• 
  
  
  Producer ID（PID）：每个幂等性生产者在首次发送消息时，由 Broker 分配一个唯一的 PID，用于标识生产者。
  
  
  


• 
  
  
  Sequence Number（序列号）：每个生产者为每个分区维护一个单调递增的序列号。每条消息都携带一个序列号，Broker 通过 PID 和序列号来判断消息是否重复。
  
  
  

2. 消息去重机制

• 
  
  
  如果 Broker 发现已经收到相同 PID 和序列号的消息，则认为该消息是重复的，直接丢弃。
  
  
  


• 
  
  
  如果序列号不连续，Broker 会拒绝该消息，并返回错误。
  
  
  

3. 配置要求

props.put("enable.idempotence", "true"); props.put("acks", "all"); props.put("max.in.flight.requests.per.connection", 5);

• 
  
  
  enable.idempotence=true：启用幂等性。
  
  
  


• 
  
  
  acks=all：确保所有副本都接收到消息。
  
  
  


• 
  
  
  max.in.flight.requests.per.connection：限制同时发送的请求数量，避免消息乱序。
  
  
  

4. 限制

• 
  
  
  单分区：幂等性仅适用于单个分区，不能跨分区保证幂等性。
  
  
  


• 
  
  
  单会话：生产者重启后，幂等性保证会丧失。
  
  
  

5. 优势

• 
  
  
  避免重复消息：即使生产者重试发送消息，也不会导致重复消息的产生。
  
  
  


• 
  
  
  简化重试逻辑：Kafka 自动处理重复消息的检测和去重，生产者无需手动实现复杂的重试逻辑。
  
  
  


• 
  
  
  提高可靠性：在生产者故障或网络不稳定的情况下，确保消息的完整性和一致性。