Answers:
暂时将主题的保留时间更新为一秒:
kafka-topics.sh --zookeeper <zkhost>:2181 --alter --topic <topic name> --config retention.ms=1000
在较新的Kafka版本中,您也可以使用 kafka-configs --entity-type topics
kafka-configs.sh --zookeeper <zkhost>:2181 --entity-type topics --alter --entity-name <topic name> --add-config retention.ms=1000
然后等待清除生效(大约一分钟)。清除后,恢复先前的retention.ms
值。
bin/kafka-topics.sh --zookeeper localhost:2181 --alter --topic MyTopic --deleteConfig retention.ms
--delete-config retention.ms
e.g. kafka-configs.sh --zookeeper <zkhost>:2181 --alter --entity-type topics --entity-name <topic name> --add-config retention.ms=1000
这也使您可以检查当前保留期,例如kafka-configs --zookeeper <zkhost>:2181 --describe --entity-type主题--entity-name <主题名称>
要清除队列,您可以删除主题:
bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test
然后重新创建它:
bin/kafka-topics.sh --create --zookeeper localhost:2181 \
--replication-factor 1 --partitions 1 --topic test
delete.topic.enable=true
在文件中添加行config/server.properties
,如所提到的命令所显示的警告所述Note: This will have no impact if delete.topic.enable is not set to true.
以下是我删除名为的主题的步骤MyTopic
:
rm -rf /tmp/kafka-logs/MyTopic-0
。对其他分区和所有副本重复以上操作zkCli.sh
然后rmr /brokers/MyTopic
如果您错过了第3步,那么Apache Kafka将继续报告该主题为当前状态(例如,如果您运行kafka-list-topic.sh
)。
使用Apache Kafka 0.8.0进行了测试。
./zookeeper-shell.sh localhost:2181
和./kafka-topics.sh --list --zookeeper localhost:2181
zookeeper-client
代替zkCli.sh
(在Cloudera CDH5上试用)
尽管接受的答案是正确的,但该方法已被弃用。现在应通过进行主题配置kafka-configs
。
kafka-configs --zookeeper localhost:2181 --entity-type topics --alter --add-config retention.ms=1000 --entity-name MyTopic
通过此方法设置的配置可以与命令一起显示
kafka-configs --zookeeper localhost:2181 --entity-type topics --describe --entity-name MyTopic
kafka-configs --zookeeper localhost:2181 --entity-type topics --alter --delete-config retention.ms --entity-name MyTopic
从kafka 1.1开始
清除主题
bin/kafka-configs.sh --zookeeper localhost:2181 --alter --entity-type topics --entity-name tp_binance_kline --add-config retention.ms=100
请等待1分钟,以确保kafka清除主题以删除配置,然后再使用默认值
bin/kafka-configs.sh --zookeeper localhost:2181 --alter --entity-type topics --entity-name tp_binance_kline --delete-config retention.ms
bin/kafka-configs.sh --zookeeper localhost:2181 --alter --entity-type topics --entity-name my-topic --add-config rentention.ms=100
kafka没有清除/清除主题(队列)的直接方法,但是可以通过删除该主题并重新创建来实现。
首先确保sever.properties文件具有,如果没有添加 delete.topic.enable=true
然后,删除主题
bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic myTopic
然后再次创建它。
bin/kafka-topics.sh --zookeeper localhost:2181 --create --topic myTopic --partitions 10 --replication-factor 2
有时,如果群集饱和(分区过多,或者使用加密的主题数据,或者使用SSL,或者控制器位于错误的节点上,或者连接不稳定),清除该主题将花费很长时间。
我遵循这些步骤,特别是如果您使用的是Avro。
1:使用kafka工具运行:
bash kafka-configs.sh --alter --entity-type topics --zookeeper zookeeper01.kafka.com --add-config retention.ms=1 --entity-name <topic-name>
2:在架构注册表节点上运行:
kafka-avro-console-consumer --consumer-property security.protocol=SSL --consumer-property ssl.truststore.location=/etc/schema-registry/secrets/trust.jks --consumer-property ssl.truststore.password=password --consumer-property ssl.keystore.location=/etc/schema-registry/secrets/identity.jks --consumer-property ssl.keystore.password=password --consumer-property ssl.key.password=password --bootstrap-server broker01.kafka.com:9092 --topic <topic-name> --new-consumer --from-beginning
3:主题为空后,将主题保留时间恢复为原始设置。
bash kafka-configs.sh --alter --entity-type topics --zookeeper zookeeper01.kafka.com --add-config retention.ms=604800000 --entity-name <topic-name>
希望这对某人有所帮助,因为它不容易宣传。
kafka-avro-console-consumer
没有必要
更新:此答案与Kafka 0.6有关。对于Kafka 0.8及更高版本,请参见@Patrick的回答。
是的,停止kafka并从相应的子目录中手动删除所有文件(在kafka数据目录中很容易找到它)。kafka重新启动后,主题将为空。
最简单的方法是将单个日志文件的日期设置为早于保留期限。然后,经纪人应清理它们并在几秒钟内为您删除它们。这具有几个优点:
根据我对Kafka 0.7.x的经验,删除日志文件并重新启动代理可能会导致某些使用者使用无效的偏移量异常。之所以会发生这种情况,是因为代理将偏移量重新设置为零(在没有任何现有日志文件的情况下),并且先前从该主题消费的使用者将重新连接以请求特定的[一次有效]偏移量。如果此偏移量恰好落在新主题日志的范围之外,则不会造成任何损害,并且使用者可以在开头或结尾处恢复。但是,如果偏移量落在新主题日志的范围内,则代理将尝试获取消息集,但会失败,因为偏移量与实际消息不匹配。
可以通过清除Zookeeper中针对该主题的消费者补偿来缓解这种情况。但是,如果您不需要原始主题,而只想删除现有内容,则与停止代理,删除主题日志并清除某些Zookeeper节点相比,只需“触摸”几条主题日志就容易得多,并且更加可靠。 。
托马斯的建议很好,但不幸的是,zkCli
在旧版本的Zookeeper中(例如3.3.6)似乎不支持rmr
。例如,将现代Zookeeper中的命令行实现与版本3.3进行比较。
如果您遇到的是Zookeeper的旧版本,一种解决方案是使用客户端库(例如用于Python的zc.zk)。对于不熟悉Python的人,您需要使用pip或easy_install进行安装。然后启动一个Python shell(python
),您可以执行以下操作:
import zc.zk
zk = zc.zk.ZooKeeper('localhost:2181')
zk.delete_recursive('brokers/MyTopic')
甚至
zk.delete_recursive('brokers')
如果要从Kafka中删除所有主题。
要使用您的应用程序组清除特定主题的所有消息(GroupName应与应用程序kafka组名相同)。
./kafka-path/bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic topicName --from-beginning --group application-group
在@steven appleyard回答之后,我在Kafka 2.2.0上执行了以下命令,它们为我工作。
bin/kafka-configs.sh --zookeeper localhost:2181 --entity-type topics --entity-name <topic-name> --describe
bin/kafka-configs.sh --zookeeper localhost:2181 --entity-type topics --entity-name <topic-name> --alter --add-config retention.ms=1000
bin/kafka-configs.sh --zookeeper localhost:2181 --entity-type topics --entity-name <topic-name> --alter --delete-config retention.ms
这里有很多很棒的答案,但是在其中,我找不到关于docker的答案。我花了一些时间弄清楚在这种情况下使用代理容器是错误的(显然!!!)
## this is wrong!
docker exec broker1 kafka-topics --zookeeper localhost:2181 --alter --topic mytopic --config retention.ms=1000
Exception in thread "main" kafka.zookeeper.ZooKeeperClientTimeoutException: Timed out waiting for connection while in state: CONNECTING
at kafka.zookeeper.ZooKeeperClient.$anonfun$waitUntilConnected$3(ZooKeeperClient.scala:258)
at scala.runtime.java8.JFunction0$mcV$sp.apply(JFunction0$mcV$sp.java:23)
at kafka.utils.CoreUtils$.inLock(CoreUtils.scala:253)
at kafka.zookeeper.ZooKeeperClient.waitUntilConnected(ZooKeeperClient.scala:254)
at kafka.zookeeper.ZooKeeperClient.<init>(ZooKeeperClient.scala:112)
at kafka.zk.KafkaZkClient$.apply(KafkaZkClient.scala:1826)
at kafka.admin.TopicCommand$ZookeeperTopicService$.apply(TopicCommand.scala:280)
at kafka.admin.TopicCommand$.main(TopicCommand.scala:53)
at kafka.admin.TopicCommand.main(TopicCommand.scala)
我应该使用zookeeper:2181
而不是--zookeeper localhost:2181
根据我的撰写文件
## this might be an option, but as per comment below not all zookeeper images can have this script included
docker exec zookeper1 kafka-topics --zookeeper localhost:2181 --alter --topic mytopic --config retention.ms=1000
正确的命令是
docker exec broker1 kafka-configs --zookeeper zookeeper:2181 --alter --entity-type topics --entity-name dev_gdn_urls --add-config retention.ms=12800000
希望它可以节省别人的时间。
另外,请注意,消息不会立即删除,而是会在日志段关闭时发生。
localhost:2181
...例如,您误解了Docker网络功能。另外,并非所有的Zookeeper容器都具有kafka-topics
,因此最好不要那样使用。最新的Kafka安装允许--bootstrap-servers
更改主题,而不是--zookeeper
you can use
--zookeeper zookeeper:2181来自Kafka容器是我的观点。甚至grep从server.properties文件中
由于大小而无法添加为注释:不知道这是否是正确的,除了更新tention.ms和retention.bytes外,但我注意到主题清理策略应为“删除”(默认),如果为“紧凑”,它将保留更长的消息,即,如果消息“紧凑”,则还必须指定delete.retention.ms。
./bin/kafka-configs.sh --zookeeper localhost:2181 --describe --entity-name test-topic-3-100 --entity-type topics
Configs for topics:test-topic-3-100 are retention.ms=1000,delete.retention.ms=10000,cleanup.policy=delete,retention.bytes=1
还必须监视最早/最新的偏移量,以确认是否成功完成,也可以检查du -h / tmp / kafka-logs / test-topic-3-100- *
./bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list "BROKER:9095" --topic test-topic-3-100 --time -1 | awk -F ":" '{sum += $3} END {print sum}'
26599762
./bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list "BROKER:9095" --topic test-topic-3-100 --time -2 | awk -F ":" '{sum += $3} END {print sum}'
26599762
另一个问题是,你必须得到当前配置第一,所以你要记得还原后删除成功:
./bin/kafka-configs.sh --zookeeper localhost:2181 --describe --entity-name test-topic-3-100 --entity-type topics
清除主题的另一种方法是手动的:
在经纪人中:
sudo service kafka stop
sudo rm -R /kafka-storage/kafka-logs/<some_topic_name>-*
在动物园管理员中:
sudo /usr/lib/zookeeper/bin/zkCli.sh
rmr /brokers/topic/<some_topic_name>
在经纪人中再次:
sudo service kafka start
./kafka-topics.sh --describe --zookeeper zkHost:2181 --topic myTopic
这应该给retention.ms
配置。然后,您可以使用上述alter命令将其更改为1秒(之后又恢复为默认值)。
Topic:myTopic PartitionCount:6 ReplicationFactor:1 Configs:retention.ms=86400000
从Java,使用new AdminZkClient
而不是不赞成使用的AdminUtils
:
public void reset() {
try (KafkaZkClient zkClient = KafkaZkClient.apply("localhost:2181", false, 200_000,
5000, 10, Time.SYSTEM, "metricGroup", "metricType")) {
for (Map.Entry<String, List<PartitionInfo>> entry : listTopics().entrySet()) {
deleteTopic(entry.getKey(), zkClient);
}
}
}
private void deleteTopic(String topic, KafkaZkClient zkClient) {
// skip Kafka internal topic
if (topic.startsWith("__")) {
return;
}
System.out.println("Resetting Topic: " + topic);
AdminZkClient adminZkClient = new AdminZkClient(zkClient);
adminZkClient.deleteTopic(topic);
// deletions are not instantaneous
boolean success = false;
int maxMs = 5_000;
while (maxMs > 0 && !success) {
try {
maxMs -= 100;
adminZkClient.createTopic(topic, 1, 1, new Properties(), null);
success = true;
} catch (TopicExistsException ignored) {
}
}
if (!success) {
Assert.fail("failed to create " + topic);
}
}
private Map<String, List<PartitionInfo>> listTopics() {
Properties props = new Properties();
props.put("bootstrap.servers", kafkaContainer.getBootstrapServers());
props.put("group.id", "test-container-consumer-group");
props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
Map<String, List<PartitionInfo>> topics = consumer.listTopics();
consumer.close();
return topics;
}
AdminClient
或KafkaAdminClient