0
我使用apache drill製作了數據格式更改程序。如何查詢製作壓縮鑲木地板文件?
在這個程序中,如果CSV文件轉換成JSON,JSON文件在HDFS
製成,但是我要輸出文件進行壓縮。
有沒有可能?如果有可能如何使它?
我使用apache drill製作了數據格式更改程序。如何查詢製作壓縮鑲木地板文件?
在這個程序中,如果CSV文件轉換成JSON,JSON文件在HDFS
製成,但是我要輸出文件進行壓縮。
有沒有可能?如果有可能如何使它?
是的,你可以在apache演練中設置壓縮類型。
從技術文檔,
您可以設置鑽查詢計劃,每個羣集執行選項,在系統或會話級別。在會話級別設置的選項僅適用於在當前的鑽取連接期間運行的查詢。在系統級別設置的選項會影響整個系統並在重新啓動之間保持不變。會話級設置將覆蓋系統級設置「
ALTER SYSTEM SET `option_name` = value;
選項名稱store.parquet.compression您可以選擇從允許值壓縮類型:活潑,gzip的,沒有
更多信息here。
如果在不增加執行時間的情況下輸出數據大小比以前小,那麼每種方法都很好。 – jjj111144444