2017-04-03 327 views
1

將存儲在HDFS中的數據加載到HIVE中時,HDFS中的這些數據是否會被複制到HIVE所使用的不同格式中?還是它使用原始文件來存儲/選擇/插入/修改數據?在Hive中執行LOAD DATA時,它是否複製數據?

上下文: LOAD DATA INPATH'/home/user/sample.txt'OVERWRITE INTO TABLE employee;

HIVE是否使用/home/user/sample.txt總是存儲/選擇/插入/修改數據,還是創建一個佔用HDFS/HBASE新空間的新文件?

回答

1

它在documentation解釋:

如果關鍵字LOCAL未指定,則配置單元將要麼使用文件路徑的完整URI,如果指定了一個或將應用以下規則: [ ...] Hive會將文件路徑指向的文件移動到表格(或分區)中

1

LOAD DATA INPATH除了將HDFS文件移動到表格的位置之外什麼都不做,而「移動」是指HDFS的元數據操作。

相關問題