如何在hadoop集羣環境中提取.gz文件？

Question

如何通過java代碼在hadoop集羣環境中提取.gz文件，而無需將文件複製到本地（通過代碼直接在hadoop中提取）？

Answer 1

「gunzip -k file.gz」通常用於解壓.gz文件，同時保留原始.gz，它是你在找什麼？

Answer 2

考慮你的。廣州文件中有一個文件，你可以這樣做：

Configuration conf = new Configuration(); 
FileSystem fs = FileSystem.get(conf); 
Path inFile = new Path(argv[0]); 
Path outFile = new Path(argv[1]); 

FSDataInputStream in = fs.open(inFile); 
org.apache.hadoop.io.compress.GzipCodec.GzipInputStream gis = new org.apache.hadoop.io.compress.GzipCodec.GzipInputStream(in); 
FSDataOutputStream out = fs.create(outFile); 

doCopy(gis, out); 

public static void doCopy(FSDataInputStream is, FSDataOutputStream os) throws Exception { 
    int oneByte; 
    while ((oneByte = is.read()) != -1) { 
     os.write(oneByte); 
    } 
    os.close(); 
    is.close(); 
} 

Answer 3

這樣做的其他方式，你可以創建一個shell腳本並運行時，你需要相同的腳本。或者你試着在你的代碼中實現終端命令。

如果你想從終端做它，你可以運行此命令

的gzip [-acdfhlLnNrtvV19] [-S後綴] [名稱...] gunzip解[-acfhlLnNrtvV] [-S後綴] [名...]

來源：https://www.techonthenet.com/linux/commands/gzip.php