Presto/Python：如何使用python連接到AWS EMR上的Presto？

我已經使用AWS EMR創建了一個presto集羣。我正在使用所有的默認配置。我想在主節點上編寫一個python腳本來推送查詢並獲取結果。Presto/Python：如何使用python連接到AWS EMR上的Presto？

我發現PyHive庫，但我不知道該怎麼放進連接字符串：

from pyhive import presto # or import hive 
cursor = presto.connect('localhost').cursor() 
statement = 'SELECT * FROM my_awesome_data LIMIT 10' 
cursor.execute(statement) 
my_results = cur.fetchall()

我認爲本地主機可能是正確的，因爲我跑的主節點上的腳本通過Presto簇，但我得到一個錯誤：

OperationalError: Unexpected status code 404 
b'<!DOCTYPE html><html><head><title>Apache Tomcat/8.0.45 - Error report</title><style type="text/css">H1 {font-family:Tahoma,Arial,sans-serif;color:white;background-color:#525D76;font-size:22px;} H2 {font-family:Tahoma,Arial,sans-serif;color:white;background-color:#525D76;font-size:16px;} H3 {font-family:Tahoma,Arial,sans-serif;color:white;background-color:#525D76;font-size:14px;} BODY {font-family:Tahoma,Arial,sans-serif;color:black;background-color:white;} B {font-family:Tahoma,Arial,sans-serif;color:white;background-color:#525D76;} P {font-family:Tahoma,Arial,sans-serif;background:white;color:black;font-size:12px;}A {color : black;}A.name {color : black;}.line {height: 1px; background-color: #525D76; border: none;}</style> </head><body><h1>HTTP Status 404 - /v1/statement</h1><div class="line"></div><p><b>type</b> Status report</p><p><b>message</b> <u>/v1/statement</u></p><p><b>description</b> <u>The requested resource is not available.</u></p><hr class="line"><h3>Apache Tomcat/8.0.45</h3></body></html>'

來源

2017-08-30 Bob Swain

我想通了，那EMR設置爲普雷斯托的網絡連接的端口是8889，所以用正確的連接：

from pyhive import presto 
cursor = presto.connect(host='localhost', port=8889).cursor() 
statement = 'SELECT * FROM my_awesome_data LIMIT 10' 
cursor.execute(statement) 
my_results = cur.fetchall()

我得到我的結果：

print(my_results) 

[('tn', 44599263, 925636329.2440014), ('fp', 169984085, 3624296366.570987), ('fn', 6370, 488192.751), ('tp', 47909, 4036930.0270000002)]

來源

2017-08-30 14:09:50

Presto/Python：如何使用python連接到AWS EMR上的Presto？

回答

相關問題