使用EMRFS（s3存儲桶）創建EMR 5.3.0作爲存儲

我正嘗試使用EMRFS（S3存儲桶）作爲存儲創建EMR 5.3.0。請提供關於此的一般指導。使用EMRFS（s3存儲桶）創建EMR 5.3.0作爲存儲

我目前使用下面的命令與InstanceType = m4.2xlarge.Which創建EMR 5.3.0工作正常，但EMRFS作爲存儲我不能做

aws emr create-cluster --name "DEMAPAUR001" --release-label emr-5.3.0 --service-role EMR_DefaultRole_Private --enable-debug --log-uri 's3n://xyz/trn' --ec2-attributes SubnetId=subnet-545e8823, KeyName=XXX --applications Name=Hbase Name=Hive Name=Pig Name=Ganglia --configurations '[{"Classification":"hdfs-site","Properties": {"dfs.replication":"2"},"Configurations":[]}]' --instance-groups 'InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m4.2xlarge, EbsConfiguration={EbsOptimized=true, EbsBlockDeviceConfigs=[{VolumeSpecification= {VolumeType=io1,SizeInGB=500,Iops=200},VolumesPerInstance=1}]}' 'InstanceGroupType=CORE, InstanceCount=1,InstanceType=m4.2xlarge,EbsConfiguration={EbsOptimized=true, EbsBlockDeviceConfigs=[{VolumeSpecification={VolumeType=io1,SizeInGB=500,Iops=200},VolumesPerInstance=1}]}' --tags Name=DEMAPAUR001 Owner="XXX" Division=Corporate Application=DEM-EMR Environment=TRN CostCenter=XXX123 CreatedBy=XXX ManagedBy=XXX Availability=24x7_Mon-Fri Backup=NA

請幫助我解決這個問題。

來源

2017-02-10 Yushi

啓動羣集時，可以在配置中使用以下分類。

爲使一致的看法

{ 「分類」：「emrfs現場」，「屬性」：{ 「fs.s3.consistent」：「真正的」 }}

此外，如果您實際上希望配置單元指向S3並在其中存儲所有新文件，則必須將此分類添加到hive-site.xml。

{ 「Classification」：「hive-網站」，「屬性」：{ 「hive.metastore.warehouse.dir」：self.hive_warehouse_dir }}

來源

2017-02-10 09:08:56 Chirag

「這是工作正常，但與EMRFS作爲存儲我不能做」。用EMRFS作爲什麼存儲？我很困惑你的問題。你究竟想要做什麼，發生了什麼問題？你是否收到錯誤信息？ –

使用EMRFS（s3存儲桶）創建EMR 5.3.0作爲存儲

回答

相關問題