amazon-athena

    0熱度

    1回答

    我已經以這種格式分區存儲在S3中的數據。 bucket/year=2017/month=3/date=1/filename.json bucket/year=2017/month=3/date=2/filename1.json bucket/year=2017/month=3/date=3/filename2.json 每個分區都有大約1,000,000條記錄。我在雅典娜爲此創建了表格和分

    2熱度

    2回答

    有沒有一種方法可以直接從基於avro模式的parquet文件在Amazon Athena中創建表?模式被編碼到文件中,所以它似乎很愚蠢,我需要自己真正創建DDL。 我看到this也是另一個duplication 但它們直接關係到蜂巢,它不會對雅典娜工作。 理想情況下,我正在尋找一種以編程方式執行此操作的方式,而無需在控制檯上對其進行定義。

    1熱度

    1回答

    我創造了我的測試數據庫,名爲下降AWS雅典娜表:test,有一個叫表:test_table 我從default數據庫中執行命令: DROP TABLE IF EXISTS test.test_table並得到了錯誤消息: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. NoS

    0熱度

    2回答

    我已經定義了一個蜂巢表,其中一列包含JSON文本: CREATE EXTERNAL TABLE IF NOT EXISTS my.rawdata ( json string ) PARTITIONED BY (dt string) ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde' WITH SERDEPROP

    1熱度

    2回答

    我正在尋找一個命令行工具來查詢Amazon Athena。 它與JDBC,使用驅動程序com.amazonaws.athena.jdbc.AthenaDriver,但我還沒有發現任何命令行工具,它的工作原理。

    0熱度

    3回答

    我試圖使用pyathenajdbc.connect()連接到Athena。我通過多因素身份驗證設置了AWS憑據。當我沒有在連接字符串中包含AWS Token時,出現以下錯誤。 athena_conn = connect(access_key=AWS_KEY_ID, secret_key=AWS_SECRET, s3_staging_dir='s3://abc-pqr-xyz/processed/a

    2熱度

    1回答

    我想爲運行時值提供選擇&創建表語句。有什麼方法來參數化Athena SQL查詢? 我試過PREPARE & EXECUTE來自Presto的聲明,但它不在雅典娜控制檯中工作。我們是否需要像Python這樣的外部腳本來調用它? PREPARE my_select1 FROM SELECT * from NATION; EXECUTE my_select1 USING 1;

    -1熱度

    1回答

    我面臨着快把我逼瘋了2小時試錯之後的挑戰...... 我需要哈希關係表的至少兩列急(實際上與使用presto引擎的亞馬遜雅典娜)。 我現在的狀態是這樣的: SELECT concat(lower(to_hex(md5(to_utf8(trim(column1))))), lower(to_hex(md5(to_utf8(trim(column2)))))) AS HK FROM

    1熱度

    1回答

    我正在使用亞馬遜雅典娜獲取上週發生的所有控制檯登錄,現在我能夠獲取所有控制檯登錄,而不管數據如何。我需要修改下面的查詢,以便該查詢可以獲取上週發生的所有aws控制檯登錄。 WITH events AS ( SELECT event.eventVersion, event.eventID, event.eventTime, event.eventNam

    2熱度

    1回答

    在S3存儲桶上運行Amazon Athena查詢時,出現以下錯誤。 我在CloudFront訪問日誌上運行此查詢。 CREATE EXTERNAL TABLE IF NOT EXISTS cloudfront.cf_logs ( `date` date, `time` string, `location` string, `bytes` int, `