我们可以通过Kafka的Java客户端API来实现查找主题分区的功能。具体步骤如下: 创建KafkaAdminClient实例 使用listTopics()方法获取主题信息 遍历主题信息,获取每个主题的分区信息 代码示例 importorg.apache.kafka.clients.admin.AdminClient;importorg.apache.kafka.clients.admin.AdminClientConfig;importorg.apache.kafka.clients...
importorg.apache.kafka.common.TopicPartition;importjava.util.List;publicstaticvoidgetPartitionInfo(KafkaConsumer<String,String>consumer,Stringtopic){// 获取主题的所有分区信息List<PartitionInfo>partitionInfos=consumer.partitionsFor(topic);// 打印分区信息for(PartitionInfopartitionInfo:partitionInfos){System.out....
http://grokbase.com/t/kafka/users/148132gdzk/find-topic-partition-count-through-simpleclient-api http://grokbase.com/t/kafka/users/151cv3htga/get-replication-and-partition-count-of-a-topic http://qnalist.com/questions/5809219/get-replication-and-partition-count-of-a-topic 看起来像类似的讨论。
下面是Kafka对消息分配分区 DefaultPartitioner.java 类的核心代码: 代码语言:javascript 复制 1publicintpartition(String topic,Object key,byte[]keyBytes,Object value,byte[]valueBytes,Cluster cluster){2List<PartitionInfo>partitions=cluster.partitionsForTopic(topic);3int numPartitions=partitions.size();4if(ke...
很多用户都有这样的需求:实时监控某个topic各分区在broker上所占的磁盘空间大小总和。Kafka并没有提供直接的脚本工具用于统计这些数据。 如果依然要实现这个需求,一种方法是通过监控JMX指标得到分区当前总的日志大小,然后手动相加所有分区的值得出;另一种方法就是使用1.0.0引入的DescribeLogDirsRequest请求。本文即介绍如何...
下面是Kafka对消息分配分区 DefaultPartitioner.java 类的核心代码: 1publicintpartition(String topic, Object key,byte[] keyBytes, Object value,byte[] valueBytes, Cluster cluster) {2List<PartitionInfo> partitions =cluster.partitionsForTopic(topic);3intnumPartitions =partitions.size();4if(keyBytes ==nu...
Kafka作为一个消息中间件(后面Kafka逐渐转向一个流失处理平台KafkaStream),消息最终的存储都落在日志中。 Kafka的消息最终发送是以topic下的分区为最终目标的,因此Kafka的日志存储也是以分区为单位。 配置文件中log.dir参数决定了kafka数据文件的存放目录,该参数可以在kafka配置文件中进行配置。
kafka-log-dirs.sh --bootstrap-server localhost:9092 --topic-list "test" --describe Querying brokers for log directories information Received log directory information from brokers 0 {"version":1,"brokers":[{"broker":0,"logDirs":[{"logDir":"/tmp/kafka-logs","error":null,"partitions":[{...
7 查询topic的分布情况 bin/kafka-topics.sh--describe --zookeeper xxx:2181 --topic TOPIC名称 日常...
kafka对消费者分配分区规则(Java源码) 在上一篇kafka topic消息分配partition规则(Java源码) 我们对生产者产生的消息分配partition规则进行了分析,那么本章我们来看看消费者是怎么样分配partition的。 kafka 为了保证同一类型的消息顺序性(FIFO),一个partition只能被同一组的一个consumer绑定消费,不同组的consumer可以绑定同...