Hive將INSERT覆蓋到Google Storage，因爲LOCAL DIRECTORY不工作

Question

我使用以下Hive查詢： 配置單元> INSERT覆蓋本地目錄「gs：// Google/Storage/Directory/Path/Name」行格式分隔的字段以' ，' select * from。;

我正在以下 「錯誤：與異常錯誤FS失敗：」 GS：//谷歌/存儲/目錄/路徑名」，預計：文件：///

什麼可能我是做錯了什麼？

Answer 1

Hive中存在一個錯誤，包括IIRC Hive 1.2.1，它爲其scratchdir使用配置的fs.default.name或fs.defaultFS，即使表路徑位於不同的文件系統中。就您的情況而言，看起來您已擁有默認設置爲fs.defaultFS到file:///，這就是爲什麼它顯示「expected：file：///」。在分佈式Hadoop集羣上，您可能會看到它說「預計：而不是hdfs：// ...「。

您可以通過覆蓋fs.default.name和fs.defaultFS單蜂巢內提示修復它：

> set fs.default.name=gs://your-bucket/ 
> set fs.defaultFS=gs://your-bucket/ 

您可能還需要修改core-site.xml文件中的條目在您的GCS的位置指向，使其更容易。