使用Scala/Spark編程計算卡夫卡主題中的消息數

Question

需求是使用Scala或Spark編程計算卡夫卡主題中的消息數。我對這兩種編程都很陌生，所以我不確定該怎麼做。任何人都可以幫我編寫代碼或指導我如何實現。

Answer 1

給定org.apache.kafka.clients.consumer.KafkaConsumer的方法是： beginningOffsets(Collection<TopicPartition>)和endOffsets(Collection<TopicPartition>)。

你需要記住，消息可以由卡夫卡經紀人刪除，這就是爲什麼需要開始的消息。