google-bigquery

0熱度

1回答

我試圖從python表中刪除模式，但我得到錯誤。 table.schema = ( bigquery.SchemaField('Name', 'STRING'), bigquery.SchemaField('Age', 'INTEGER'), bigquery.SchemaField('Weight', 'FLOAT'), bigquery.SchemaFie

1熱度

1回答

爲什麼Dataflow不支持SortByKey？

我想知道爲什麼Dataflow不支持像Apache Spark那樣的「SortByKey」。我在BigQuery中有一個巨大的表，我無法對它進行排序，因爲「Order By」不可伸縮。所以，我正在考慮將BigQuery的輸出移到Dataflow並在那裏排序。但是，沒有SortByKey，我似乎必須編寫一個組合器。任何建議，將不勝感激。

0熱度

1回答

BigQuery：如何使用新的存儲JSON文件自動重新載入表格？

我剛剛通過鏈接Google雲端存儲中可用的JSON文件創建了一個BigQuery表。但我沒有看到任何選項可以自動重新加載表格行，並在Google雲端存儲文件夾或存儲區中添加新文件。目前，我必須去BigQuery控制檯，然後刪除&重新創建相同的表來加載新文件。但是這個解決方案對我們來說不是可擴展的，因爲我們在BigQuery API上運行cron作業。如何在BigQuery中自動重新加載數據？感

1熱度

1回答

bigquery十六進制字符串到字節/ int

是否有可能將由兩個字節組成的十六進制字符串轉換爲字節/ int，而第一個字節是lsb，第二個是msb。後處理該： #standardSQL SELECT timestamp, CAN_Frame, bytes, STRING_AGG(CASE WHEN f='83' AND p IN (5, 6) THEN b ELSE '' END, ' ' ORDER BY p) AS

0熱度

2回答

如何獲得來自SQL的字符串每次出現頻率的是/否統計信息

有沒有辦法通過檢查特定字符串在特定文件類型中出現的頻率來查詢BigQuery project HTTPArchive中的表？我能夠爲單個檢查編寫一個查詢，但是如何一次執行多個字符串的查詢，而無需每次都發送相同的查詢，只需使用不同的字符串檢查並處理〜800GB的表數據時間？獲取結果作爲數組可能以某種方式工作？我想免費向公衆發佈深入的每月統計數據，所以單獨發送這些查詢並獲得約2000美元/月的查詢

0熱度

1回答

從傳統SQL遷移：標準SQL的「WITHIN RECORD」選項

我正嘗試從BigQuery Legacy SQL遷移到標準SQL。 Legacy產品提供了查詢「WITHIN RECORD」的功能，這種功能在很多場合派上用場。我正在尋找WITHIN RECORD的高效替代方案。我總是可以使用幾個子查詢並加入它們，但是想知道是否可以使用ARRAY + ORDINAL更有效的方法。的例子：考慮下列標準SQL WITH sessPageVideoPlay

0熱度

1回答

使用BigQuery多個通配符URI導出數據

試圖將BigQuery中的表格數據導出到Google雲端存儲中創建的存儲區。當我將BigQuery中的表格導出到具有單通配符URI的GCS中時，它會自動將該表格分割爲多個分片文件（每個文件大約368 MB）並落在GCS中的指定存儲桶中。下面是一個命令： bq --nosync extract --destination_format=CSV '<bq table>' 'gs://<gcs_bu

2熱度

2回答

SQL - 如何找到使用起始日期缺少活動天數日期和結束日期

我有一個數據庫中的幾個字段看起來像這樣： trip_id start_date end_date start_station_name end_station_name 我需要編寫一個查詢，顯示所有沒有活動的站我寫了下面的查詢，但它沒有給出正確的輸出： select start_station_name, extract(date from start_date

1熱度

1回答

BIQ QUERY /通過php覆蓋表格

我正在尋找一種方法來通過客戶端庫php在BIG查詢中覆蓋現有表格。在WEB UI中，我可以通過「Destination Table」和「 Write Preference」選項輕鬆完成此任務，可以在php中做同樣的事情嗎？

0熱度

1回答

窗口函數內的基本分組

我正在第一次使用窗口函數。我有一個基本的窗口功能，我想組的結果通過媒體，我這樣做時，我得到的錯誤： Error: SELECT list expression references totals.visits which is neither grouped nor aggregated at [1:12] 在我看來，我的第一行上總結totals.visits ，我在這裏錯過了什麼？我希望看到訪問