Kafka：持续获取FETCH_SESSION_ID_NOT

我不断收到FETCH_SESSION_ID_NOT_FOUND。我不确定为什么会这样。任何人都可以在这里取悦我，这是什么问题，对消费者和经纪人的影响是什么。

Kafka服务器日志：

INFO [2019-10-18 12:09:00,709] [ReplicaFetcherThread-1-8][] org.apache.kafka.clients.FetchSessionHandler - [ReplicaFetcher replicaId=6, leaderId=8, fetcherId=1] Node 8 was unable to process the fetch request with (sessionId=258818904, epoch=2233): FETCH_SESSION_ID_NOT_FOUND.
 INFO [2019-10-18 12:09:01,078] [ReplicaFetcherThread-44-10][] org.apache.kafka.clients.FetchSessionHandler - [ReplicaFetcher replicaId=6, leaderId=10, fetcherId=44] Node 10 was unable to process the fetch request with (sessionId=518415741, epoch=4416): FETCH_SESSION_ID_NOT_FOUND.
 INFO [2019-10-18 12:09:01,890] [ReplicaFetcherThread-32-9][] org.apache.kafka.clients.FetchSessionHandler - [ReplicaFetcher replicaId=6, leaderId=9, fetcherId=32] Node 9 was unable to process the fetch request with (sessionId=418200413, epoch=3634): FETCH_SESSION_ID_NOT_FOUND.

卡夫卡消费者日志：

12:29:58,936 INFO  [FetchSessionHandler:383] [Consumer clientId=bannerGroupMap#87e2af7cf742#test, groupId=bannerGroupMap#87e2af7cf742#test] Node 8 was unable to process the fetch request with (sessionId=1368981303, epoch=60): FETCH_SESSION_ID_NOT_FOUND.
12:29:58,937 INFO  [FetchSessionHandler:383] [Consumer clientId=bannerGroupMap#87e2af7cf742#test, groupId=bannerGroupMap#87e2af7cf742#test] Node 3 was unable to process the fetch request with (sessionId=1521862194, epoch=59): FETCH_SESSION_ID_NOT_FOUND.
12:29:59,939 INFO  [FetchSessionHandler:383] [Consumer clientId=zoneGroupMap#87e2af7cf742#test, groupId=zoneGroupMap#87e2af7cf742#test] Node 7 was unable to process the fetch request with (sessionId=868804875, epoch=58): FETCH_SESSION_ID_NOT_FOUND.
12:30:06,952 INFO  [FetchSessionHandler:383] [Consumer clientId=creativeMap#87e2af7cf742#test, groupId=creativeMap#87e2af7cf742#test] Node 3 was unable to process the fetch request with (sessionId=1135396084, epoch=58): FETCH_SESSION_ID_NOT_FOUND.
12:30:12,965 INFO  [FetchSessionHandler:383] [Consumer clientId=creativeMap#87e2af7cf742#test, groupId=creativeMap#87e2af7cf742#test] Node 6 was unable to process the fetch request with (sessionId=1346340004, epoch=56): FETCH_SESSION_ID_NOT_FOUND.

群集详细信息：

Broker: 13 (1 Broker : 14 cores & 36GB memory)
Kafka cluster version: 2.0.0
Kafka Java client version: 2.0.0
Number topics: ~15. 
Number of consumers: 7K (all independent and manually assigned all partitions of a topic to a consumers. One consumer is consuming all partitions from a topic only)

apache-kafka

— 赫里希克什·米什拉
source

我在Kafka Java客户端版本2.3.1中遇到了同样的错误。有人有什么想法吗？

— Bert S.

@ BertS.increase这个值max.incremental.fetch.session.cache.slots

— 米什拉

嗨@HrishikeshMishra，这是您（针对此问题）（上面的评论）找到的解决方案？您是否会考虑将其添加为帖子的答案，如果可能的话，请稍作解释。我遇到了同样的问题，我将测试您的上述解决方案。

— 豪尔赫·坎波斯

这是一个信息日志。忽略它的含义是什么？

— Bert S.

增加的价值max.incremental.fetch.session.cache.slots。默认值为1K，在我的情况下，我将其增加到10K并固定。

— 赫里希克什·米什拉
source

这是经纪人的设置吗？

— Bert S.

是的，它的经纪人位置

— 赫里希克什·米什拉

在消费者或生产者方面可以做些什么吗？

— Bert S.

生产者和消费者端不需要任何东西。

— 里希克虚什Mishra

我看到了我的消费者的错误。我无权修改经纪人本身。我应该担心吗？

— Bert S.

我首先将其从1K增加到2K，然后将其从2K增加到4K，只要没有耗尽限制，就不会出现错误：

在我看来，这似乎是某个身份不明的用户的会话泄漏，因此我还没有尝试10K的限制，但是阅读Hrishikesh Mishra的回答，我肯定会的。因为增加限制还减少了错误的发生频率，所以确定打开过多数量的增量获取会话的单个消费者组的问题在此提到，如何检查Kafka集群中使用的增量获取会话缓存插槽的实际数量？，最后可能无关紧要。

— hdjur_jcv
source

Kafka：持续获取FETCH_SESSION_ID_NOT_FOUND