Questions tagged «kafka-consumer-api»

我开始学习用于企业解决方案目的的Kafka。 在阅读期间，我想到了一些问题： 生产者在生成消息时-将指定要将消息发送到的主题，对吗？它关心分区吗？ 当订户运行时-是否指定其组ID，以便它可以成为同一主题或该组消费者感兴趣的多个主题的一组消费者的一部分？ 每个消费者组在代理上都有对应的分区还是每个消费者都有一个分区？ 分区是由代理创建的，因此对于消费者而言不是问题吗？ 由于这是每个分区都有偏移量的队列，使用方是否有责任指定要读取的消息？是否需要保存其状态？ 从队列中删除消息后会发生什么？-例如：保留时间为3小时，然后时间过去了，双方如何处理偏移量？

209 apache-kafka  kafka-consumer-api  kafka-producer-api 

我最近开始学习Kafka，并遇到了这些问题。 Consumer和Stream之间有什么区别？对我而言，如果有任何工具/应用程序消费来自Kafka的消息，则是Kafka世界中的消费者。 Stream有何不同，因为它也会从Kafka消费或产生消息？为什么需要它，因为我们可以使用消费者API编写自己的消费者应用程序并根据需要对其进行处理，或者将其从消费者应用程序发送到Spark？ 我在此方面使用了Google，但没有得到任何好的答案。抱歉，这个问题太琐碎了。

102 apache-kafka  kafka-consumer-api  apache-kafka-streams 

KeyedMessage<String, byte[]> keyedMessage = new KeyedMessage<String, byte[]>(request.getRequestTopicName(), SerializationUtils.serialize(message)); producer.send(keyedMessage); 目前，我正在发送不带任何键的消息作为键控消息的一部分，它仍然可以使用delete.retention.ms吗？我是否需要发送密钥作为消息的一部分？将密钥作为消息的一部分，这很好吗？

93 apache-kafka  kafka-consumer-api 

我不清楚为什么我们既需要session.timeout.ms和max.poll.interval.ms我们何时会使用一个或另一个或两者兼而有之？似乎这两个设置都指示协调器在假设其死机之前将等待从消费者那里获取心跳的时间上限。 另外，对于基于KIP-62的0.10.1.0+版本，它的行为如何？

78 apache-kafka  kafka-consumer-api 

我需要找出一种方法来询问Kafka主题列表。我知道我可以使用目录中kafka-topics.sh包含的脚本来做到这一点bin\。获得此列表后，每个主题都需要所有消费者。我在该目录中找不到脚本，在kafka-consumer-api库中也找不到允许我执行此操作的类。 其背后的原因是，我需要弄清楚主题的偏移量与消费者的偏移量之间的差异。 有没有办法做到这一点？还是我需要在每个消费者中实现此功能？

74 apache-kafka  kafka-consumer-api 

我正在使用Confluent.Kafka .NET客户端版本1.3.0。我正在关注文档： var consumerConfig = new ConsumerConfig { BootstrapServers = "server1, server2", AutoOffsetReset = AutoOffsetReset.Earliest, EnableAutoCommit = true, EnableAutoOffsetStore = false, GroupId = this.groupId, SecurityProtocol = SecurityProtocol.SaslPlaintext, SaslMechanism = SaslMechanism.Plain, SaslUsername = this.kafkaUsername, SaslPassword = this.kafkaPassword, }; using (var consumer = new ConsumerBuilder<Ignore, string>(consumerConfig).Build()) { var cancellationToken = new CancellationTokenSource(); …

10 c#  apache-kafka  kafka-consumer-api