saveAsHadoopFile - 文件擴展名

2016-06-14 308 views 0 likes

我使用saveAsHadoopFile的JavaPairRDD將RDD保存爲具有快速壓縮的avro文件。是否有可能強制擴展輸出文件爲snappy？saveAsHadoopFile - 文件擴展名

2016-06-14 wikp

我不能肯定地說，但你應該能夠做類似的東西：'pairRdd.saveAsHadoopFile（「/ tmp目錄/」，的.class，的.class，TextOutputFormat .class，org.apache.hadoop.io.compress.SnappyCodec.class）'。您需要用您的pairRDD鍵和值類型替換和，並將輸出調整爲您期望獲得的結果。好點？ –

選中此項：http://stackoverflow.com/questions/33464990/i-am-using-spark-1-4-and-trying-to-save-as-orcfile-with-compression-snappy-but-i – RoyaumeIX

謝謝回覆。我知道如何用SnappyCodec編寫avro文件，但它們以「.avro」擴展名保存。我需要他們成爲「.snappy」:) – wikp

回答

AvroOutputFormat已硬編碼.avro擴展名，並且不允許對其進行更改。我上傳了一個patch到Avro JIRA並進行了適當的更改。如果你有類似的問題，你必須（現在）只是子類AvroOutputFormat，並在saveAsHadoopFile方法中使用它。例如，在斯卡拉：

rdd.saveAsHadoopFile("output/path", 
    classOf[AvroWrapper[GenericRecord]], 
    classOf[NullWritable], 
    classOf[YourOutputFormatClassName[GenericRecord]])

來源

2016-07-13 16:57:48 wikp

相關問題

1. 文件擴展名
2. 文件擴展名
3. SQLite：.db文件擴展名.sqlite文件擴展名爲
4. 文本文件擴展名
5. 文件名擴展在bash
6. ms office文件擴展名
7. 雙文件擴展名
8. 更改文件擴展名？
9. 文件擴展名〜意思
10. 刪除文件擴展名
11. 忽略文件擴展名
12. 首選文件擴展名
13. http文件擴展名
14. 遍歷文件擴展名
15. 文件擴展名爲
16. NSFileManager，文件擴展名
17. Directory.GetFiles - 文件擴展名
18. silverlight - 文件擴展名
19. .LYG文件擴展名
20. 根據文件擴展名
21. XSD文件的文件擴展名
22. 從文件名中刪除擴展名
23. 批量重命名文件擴展名
24. 重命名文件擴展名爲.txt
25. 提取文件名（不含擴展名）
26. powershell - 提取文件名和擴展名
27. LibGit2Sharp.NameConflictException「文件名或擴展名太長。」
28. PHP - 識別附件文件擴展名
29. 不帶擴展名隨機文件{1,2 ...}與擴展
30. groovy腳本迭代通過一個文件夾，並寫入所有擴展名爲擴展名的文件名，但擴展名爲.txt的文件