从单个分区读取时卡夫卡不产生消费群(Kafka does not create consumer g

2019-09-30 02:32发布

我从卡夫卡用火花结构性流阅读,下面是我读流

 val inputDf = spark.readStream
  .format("kafka")
  .option("kafka.bootstrap.servers", brokers)
 //.option("subscribe", topic)
 .option("assign"," {\""+topic+"\":[0]}") 
  .option("startingOffsets", "earliest")
  .option("maxOffsetsPerTrigger", 60000)
  .load()

我想在我的卡夫卡消费群使用以下命令卡夫卡看。 当我从只有它不会产生任何comsumer组单个分区的读取,但是当我从主题读取(在我的情况下,我对3个主题分区)不提分区明确其创造的消费群体是什么,我注意到的是。 这是预期的行为?如果是的话,为什么呢?

./kafka-consumer-groups.sh --bootstrap-server kfk01.sboxdc.com:9092,kfk02.sboxdc.com:9092,kfk03.sboxdc.com:9092 --list
文章来源: Kafka does not create consumer group when reading from single partition