amazon-athena

1熱度

2回答

如何devide一個字符串，每個空格REGEXP_EXTRACT（SQL-雅典娜）

我目前正在對行例如從我們webserverlog拆分消息：我的消息（數據類型的字符串）看起來是這樣的： at=info method=GET path="/v1/..." host=web.com request_id=a3d71fa9-9501-4bfe-8462-54301a976d74 fwd="xxx.xx" dyno=web.1 connect=1ms service=167ms s

0熱度

1回答

PrestoDB緩存內部開箱即用的中間結果嗎？

PrestoDB有多個connectors。雖然連接器確實實現了讀取和寫入操作，但是從我閱讀的所有教程中，似乎它們通常僅用作數據源以便從中讀取。例如，netflix在Amazon S3上具有「10千兆字節」數據，並且他們明確指出Presto工作節點上沒有使用磁盤（並且沒有使用HDFS）。陳述的用例是「特設交互式」查詢。此外，亞馬遜雅典娜本質上是S3 + Presto，並附帶類似的使用案例。我

0熱度

1回答

如何過濾進入AWS Hive表的多行JSON數據

我有一個AWS IoT規則將傳入的JSON發送到Kinesis Firehose。從我的物聯網發佈的JSON數據是全部在一行上 - 例如： {"count":4950, "dateTime8601": "2017-03-09T17:15:28.314Z"} 在管理界面的IOT測試「測試」部分允許你發佈的消息，默認爲以下（注格式化多-line JSON）： { "message":

1熱度

3回答

如何查詢來自Amazon Athena的地板數據？

Athena使用S3表中的字段創建臨時表。我已經使用JSON數據完成了這項工作。你能幫助我如何使用實木複合地板數據創建表格嗎？我曾嘗試以下：轉換的樣本JSON數據到鑲數據。將鑲木地板數據上傳到S3。使用JSON數據列創建臨時表。通過這樣做，我能夠執行查詢，但結果是空的。這種方法是正確的還是在地板數據上有其他方法需要遵循？樣品JSON數據： {"_id":"0899f824e118d3

3熱度

2回答

有沒有辦法使用Athena JDBC驅動程序來獲取查詢ID和狀態？

有沒有辦法讓Athena query ID查詢我提交Athena JDBC驅動程序？任何API調用查詢狀態（使用其查詢ID？）任何方式通過API調用獲取查詢歷史記錄？

3熱度

1回答

AWS Athena：'msck repair table`會產生費用嗎？

我在S3 ORC的數據，看起來像這樣： s3://bucket/orc/clientId=client-1/year=2017/month=3/day=16/hour=20/ s3://bucket/orc/clientId=client-2/year=2017/month=3/day=16/hour=21/ s3://bucket/orc/clientId=client-3/year=201

2熱度

1回答

java.sql.SQLExceptionPyRaisable使用Django連接到Athena的第二次嘗試

我正在使用python模塊，名爲PyAthenaJDBC以便使用提供的JDBC驅動程序查詢Athena。這裏是鏈接：https://pypi.python.org/pypi/PyAthenaJDBC/ 我一直面臨一些持續性的問題。每當我連續兩次使用雅典娜連接時，我總是收到這個java錯誤。事實上，我能夠連接到雅典娜，顯示數據庫，創建新表格，甚至查詢內容。我正在使用Django構建一個應用程序並

0熱度

1回答

蜂巢 - 從嵌套的Json

中提取數據，我有一個名爲表newdata create external table newdata ( data string ) location 'something' select data from string limit 1 { "user": { "name": "default", "education": { "schoome": "abc", "college":

0熱度

2回答

Kinesis Firehose到s3：將數據傳送到s3路徑中的錯誤小時

我正在使用Kinesis Firehose緩衝物聯網數據，並將其寫入s3。流水寫入緩存格式s3://bucket.me.com/YYYY/MM/DD/HH 的數據，在10進來到S3：59A可能會被流水緩衝，而不是寫出來的，直到11：00A（s3://bucket.me.com/2017/03/09/11）。問題是，當爲雅典娜創建分區時，小時10的分區將不包含小時10的所有數據，因爲它位於小時11

1熱度

1回答

配置單元 - 相關值的總和

我正在使用AWS Athena過濾負載均衡器日誌。我創建了下表並將日誌導入到表中。 CREATE EXTERNAL TABLE IF NOT EXISTS elb_logs ( request_timestamp string, elb_response_code string, url string, ) ROW FORMAT SERDE 'org.a