使用emrfs的Hive

我正在使用sqoop將表從Amazon RDS導入Hive。該過程正在運行，數據正被存儲在配置單元的默認hdfs目錄中：/ user/hive/warehouse。使用emrfs的Hive

我需要將存儲位置從hdfs更改爲emrfs s3。

我的理解是，我需要將屬性hive.metastore.warehouse.dir的值（在主節點上的hive-site.xml中）更改爲s3 //存儲桶/倉庫位置。看起來我沒有修改文件hive-site.xml的權限。

我在尋找一些建議如何最好地做到這一點。

蘇堤

來源

2017-02-11 SudiB

切換到root用戶。 – Achyuth

您將需要sudo的權限修改的masternode（位於/etc/hive/conf/hive-site.xml通常情況下）的蜂房site.xml文件。

如果這不是一個選項，請嘗試在羣集啓動之前設置此屬性。與CloudFormation一個例子：

   "Configurations" : [ 
       { 
        "Classification" : "hive-site", 
        "ConfigurationProperties" : { 
         "hive.metastore.warehouse.dir" : "s3://your_s3_bucket/hive_warehouse/", 
        } 
       } 
      ],

中或通過部分EMR對話「編輯軟件設置」

來源

2017-08-10 17:32:22

sudo vi /etc/hive/conf/hive-site

或

sudo -su root 
vi /etc/hive/conf/hive-site.xml

來源

2017-11-07 23:00:13 Achyuth

使用emrfs的Hive

回答

相關問題