我从卡夫卡用火花结构性流阅读,下面是我读流
val inputDf = spark.readStream
.format("kafka")
.option("kafka.bootstrap.servers", brokers)
//.option("subscribe", topic)
.option("assign"," {\""+topic+"\":[0]}")
.option("startingOffsets", "earliest")
.option("maxOffsetsPerTrigger", 60000)
.load()
我想在我的卡夫卡消费群使用以下命令卡夫卡看。 当我从只有它不会产生任何comsumer组单个分区的读取,但是当我从主题读取(在我的情况下,我对3个主题分区)不提分区明确其创造的消费群体是什么,我注意到的是。 这是预期的行为?如果是的话,为什么呢?
./kafka-consumer-groups.sh --bootstrap-server kfk01.sboxdc.com:9092,kfk02.sboxdc.com:9092,kfk03.sboxdc.com:9092 --list