Kafka consumer失败问题汇总


发布于 2024-05-22 / 36 阅读 / 0 评论 /
汇总kafka消费失败的场景

Kafka Consumer是kafka最常用的API之一,用于消费kafka消息。

在生产实践过程中,我们通常会遇到kafka消费失败的问题。接下来,我们对这样的场景进行介绍。

1.认证失败

当kafka开启认证后,如果consumer端配置的认证信息不正确,很容易导致认证失败。

2.授权失败

当kafka开启了授权后,需要添加对应的消费权限,消费者才能正常进行消费。

授权机制通过authorizer.class.name属性来配置,默认是空,表示不纳入授权体系,所有用户可以对kafka集群进行任何操作。

3.内置消息队列__consumer_offsets异常

根据消费的流程,__consumer_offsets这个toipc在消费过程当中至关重要,如果__consumer_offsets这个topic发生异常,消费就无法进行。

__consumer_offsets常见的异常如下。

3.1.__consumer_offsets分区中出现leader为-1的场景

如果__consumer_offsets的某个分区的leader为-1,而消费组groupId正好分配在这个分区上,则该消费组无法继续消费。