0
A
回答
0
我使用java來處理gzip文件並以gzip壓縮方式生成輸出。我用下面的代碼
FileOutputFormat.setCompressOutput(job, true);
FileOutputFormat.setOutputCompressorClass(job, GzipCodec.class);
FileOutputFormat.setOutputPath(job, output path));
我希望你會發現類似的API /代碼在Python中。
您可以生成gzip文件作爲生成的輸出。通過'-D mapred.output.compress = true -D mapred.output.compression.codec = org.apache.hadoop.io.compress.GzipCodec'作爲您的流式作業的選項。
相關問題
- 1. SPHINX輸出壓縮?
- 2. 輸出壓縮HTML
- 3. C中的流媒體壓縮庫用於流式傳輸
- 4. 使用輸入/輸出流的Java LZ4壓縮
- 5. 壓縮和解壓流
- 6. 解壓縮或膨脹php://輸入流?
- 7. 的YUICompressor - 壓縮多輸入多輸出
- 8. 如何壓縮流?
- 9. 解壓縮GZIP流
- 10. 流的Delta壓縮
- 11. 壓縮文件的僅內存流式傳輸
- 12. PERL LZW壓縮與輸出碼長
- 13. 如何壓縮MapReducer的輸出?
- 14. Parquet輸出文件不壓縮
- 15. 如何從Compass輸出壓縮的CSS?
- 16. Django get_or_create將輸出壓縮到shell
- 17. 星火未壓縮JSON輸出
- 18. Django壓縮空白Css輸出文件
- 19. Json壓縮傳輸
- 20. 在C中解壓縮流#
- 21. 流分析和壓縮avro
- 22. SharpZipLib不壓縮內存流
- 23. 爲silverlight解壓縮gzip流
- 24. pdfbox寫壓縮對象流
- 25. SevenZipSharp - 壓縮內存流
- 26. 並行解壓縮流
- 27. Zlib兼容壓縮流?
- 28. LZ4:壓縮的壓縮圖像格式
- 29. 使用PHP輸出緩衝區壓縮緩存的輸出
- 30. 網絡流量的流壓縮