連接超時EMR上的spark-redshift異常

Question

我正在使用由數據磚提供的spark-redshift庫從Spark中的紅移表中讀取數據。鏈接：https://github.com/databricks/spark-redshift。

注意：在我的情況下，Redshift集羣和EMR集羣的AWS賬戶是不同的。

我能夠在Spark LOCAL模式下使用spark-redshift連接到紅移。但是，相同的代碼在EMR上失敗，出現以下異常：java.sql.SQLException：錯誤設置/關閉連接：連接超時。

我已經嘗試在我的EMR羣集的EC2安全組的入站規則中添加Redshift，但它沒有幫助。在做這件事時，我曾使用Source作爲MyIP。

Answer 1

我找到了解決這個VPC使用對等：http://docs.aws.amazon.com/AmazonVPC/latest/PeeringGuide/Welcome.html

我們使用VPC窺視和更新個人的VPC的路由表，從其他VPC的CIDR的IPv4接受流量連接紅移和EMR的VPC。 VPC對等也可以在AWS賬戶中完成。請參閱上面的鏈接以獲取更多詳細信息。

完成此操作後，轉到這兩個帳戶中的VPC對等連接並啓用來自對等VPC的DNS解析。爲此，請選擇VPC對等連接 - >轉至頂部的操作選項 - >選擇編輯DNS設置 - >選擇允許來自對等VPC的DNS解析。