是否可以從Spark流中將gzip壓縮數據寫入Kafka?是否有任何示例/示例說明如何在Spark流作業中從Kafka寫入和讀取壓縮數據?如何在Spark Streaming中將壓縮數據寫入Kafka?
2
A
回答
2
是的,這是可能的。只需將compression.type
設置爲gzip
即可。
查看here的完整示例。
// Zookeeper connection properties
val props = new HashMap[String, Object]()
props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, brokers)
props.put(ProducerConfig.COMPRESSION_TYPE_CONFIG, "gzip")
// add other props as needed
val producer = new KafkaProducer[String, String](props)
1
您可以使用CLI或在server.properties文件中設置。
--compression-codec [壓縮編解碼器]壓縮編解碼器:'none','gzip','snappy'或'lz4'。如果沒有指定值,則默認爲'gzip'。 0是默認值。
https://cwiki.apache.org/confluence/display/KAFKA/Compression
相關問題
- 1. 從Spark Streaming將數據推送到Kafka
- 2. Spark Streaming Kafka backpressure
- 3. 在Spark Streaming中的Kafka createDirectStream
- 4. Spark-Streaming Kafka Direct Streaming API&Parallelism
- 5. Spark + Kafka streaming NoClassDefFoundError kafka/serializer/StringDecoder
- 6. Spark Streaming - Kafka- createStream - RDD到數據幀
- 7. Kafka Streaming + Spark Streaming +機器學習
- 8. java.lang.NoClassDefFoundError:org/apache/spark/streaming/kafka/KafkaUtils
- 9. 在Spark Streaming中重用kafka製作者
- 10. spark-streaming-kafka-0-10:如何限制Spark分區的數量
- 11. 如何從Spark Streaming腳本寫入HDFS
- 12. 將Spark Streaming輸出寫入套接字
- 13. 使用Snappy壓縮以ORC格式寫入Spark數據幀
- 14. Spark Streaming + Kafka:如何從kafka消息檢查主題名稱
- 15. Pyspark Kafka Streaming
- 16. Kafka - Spark Streaming - 僅從一個分區讀取數據
- 17. 從kafka-Spark-Streaming讀取數據時獲得空集
- 18. 是否支持spark-streaming-kafka-0-10 lib?
- 19. Spark Streaming Kafka初始偏移量
- 20. 由於InvalidClassException,Spark Kafka Streaming作業失敗
- 21. apache spark streaming - kafka - 閱讀舊信息
- 22. 如何使用docker在Mac上設置kafka和spark-streaming?
- 23. Spark數據集解壓縮函數
- 24. Kafka Spark Streaming Consumer將不會收到來自Kafka Console Producer的任何消息?
- 25. 在Spark Streaming中讀取Hbase數據
- 26. 如何壓縮在asp.net數據,並在JavaScript中解壓縮
- 27. 將tar.gz壓縮成多個文件壓入Spark
- 28. 如何在swift 3中壓縮數據?
- 29. 如何寫入拼接Spark數據框?
- 30. 如何解壓縮字節數組中的壓縮數據?
感謝您的指針。 – vijay