我正在使用Java Spark API,對於KafkaUtils.createDirectStream,我想跟蹤偏移量。 有一個名爲fromOffset的參數,它記錄了Kafka主題分區中的偏移量。對於第一次運行,我不知道將有多少個分區,那麼如何設置此參數? 並且我是否需要在Kafka參數中設置「auto.offset.reset」? 如果是,它會影響我的代碼從已知的偏移中恢復嗎?Spark Streaming Kafka初始偏移量
0
A
回答
0
你有兩種選擇:
的情況下,你沒有關於partions的任何信息,不提供參數去createDirectStream。 createDirectStream方法有幾個實踐。在這種情況下,或者每個topicPartition將使用最早或最近的偏移量(基於
auto.offset.reset
param)您可以使用通常的kafka API找到分區,偏移量。例如外觀How to find the offset range for a topic-partition in Kafka 0.10?
+0
謝謝!反正Kafka 0.8有嗎?因爲0.10是實驗性的API – peng
相關問題
- 1. Spark Streaming Kafka backpressure
- 2. Spark-Streaming Kafka Direct Streaming API&Parallelism
- 3. Spark + Kafka streaming NoClassDefFoundError kafka/serializer/StringDecoder
- 4. Kafka Streaming + Spark Streaming +機器學習
- 5. java.lang.NoClassDefFoundError:org/apache/spark/streaming/kafka/KafkaUtils
- 6. 在Spark Streaming中的Kafka createDirectStream
- 7. spark-streaming-kafka-0-10:如何限制Spark分區的數量
- 8. zkClient不能被Serializabled,sparkstreaming寫kafka偏移量到zookeeper
- 9. 未初始化的數組偏移量
- 10. Pyspark Kafka Streaming
- 11. 使用Apache Spark批處理Apache Kafka的偏移管理
- 12. kafka和Spark:通過API獲取主題的第一個偏移量
- 13. Horizontalscrollview初始偏移值
- 14. WhirlyGlobe初始旋轉偏移
- 15. 從Spark Streaming將數據推送到Kafka
- 16. 是否支持spark-streaming-kafka-0-10 lib?
- 17. 由於InvalidClassException,Spark Kafka Streaming作業失敗
- 18. apache spark streaming - kafka - 閱讀舊信息
- 19. Spark Streaming - Kafka- createStream - RDD到數據幀
- 20. 在Spark Streaming中重用kafka製作者
- 21. spark-streaming-kafka-0-10 auto.offset.reset始終設置爲none
- 22. Kafka喜歡Kinesis Stream上的偏移量?
- 23. Spark Streaming + Kafka:如何從kafka消息檢查主題名稱
- 24. 注意:初始化的字符串偏移:未初始化字符串偏移量:1
- 25. Streaming Kmeans Spark JAVA
- 26. 如何在Spark Kafka直接流式傳輸中手動提交偏移量?
- 27. 來自Kafka主題的Spark Streaming拋出偏移超出範圍,無法重新啓動流
- 28. Spark Streaming Multiple Streaming Jobs
- 29. Spark Streaming JavaCustomReceiver
- 30. Spark Streaming,kafka:java.lang.StackOverflowError
如果您不知道分區數量,您如何知道每個分區的起始偏移量? – Mariusz
如果我將「auto.offset.reset」設置爲最小或最大,我仍然可以從每個紅色獲得分區和偏移信息 – peng