Kafka Consumer是kafka最常用的API之一,用于消费kafka消息。
在生产实践过程中,我们通常会遇到kafka消费失败的问题。接下来,我们对这样的场景进行介绍。
1.认证失败
当kafka开启认证后,如果consumer端配置的认证信息不正确,很容易导致认证失败。
2.授权失败
当kafka开启了授权后,需要添加对应的消费权限,消费者才能正常进行消费。
授权机制通过authorizer.class.name属性来配置,默认是空,表示不纳入授权体系,所有用户可以对kafka集群进行任何操作。
3.内置消息队列__consumer_offsets异常
根据消费的流程,__consumer_offsets这个toipc在消费过程当中至关重要,如果__consumer_offsets这个topic发生异常,消费就无法进行。
__consumer_offsets常见的异常如下。
3.1.__consumer_offsets分区中出现leader为-1的场景
如果__consumer_offsets的某个分区的leader为-1,而消费组groupId正好分配在这个分区上,则该消费组无法继续消费。