google-bigquery

0熱度

1回答

我有一個函數內部的BigQuery查詢，如下所示： def get_data_from_bigquery(): """query bigquery to get data to import to PSQL""" app_id = get_app_id() bq = bigquery.Client(project=app_id) query = """SEL

2熱度

1回答

SQL循環從各種開始日期和結束日期生成許多行

我需要編寫一些SQL代碼的幫助，並且我發現的所有答案都似乎假設了靜態數據並設置了需要左連接的開始和結束日期。這是不同的。設置我在谷歌板的表，其基本上客戶，廣告活動，日期，結束日期，DAILY_BUDGET 客戶端1，廣告活動1，2017年1月2日， 2017年1月12日，10.00 客戶端2，廣告活動1，2017年1月3日，2017年2月15日，34.09 這個列表總是與新客戶，新的活動等日

0熱度

1回答

更新MongoDB中的所有數據或替換MongoDB實例

MongoDB包含準備好用於客戶端應用程序的數據。原始數據存儲在Google BigQuery（GBQ）中。每天都有大量新數據被添加到GBQ中，並且每天一次幾乎所有MongoDB中的數據都需要根據GBQ中的最新數據進行更新。所有過期的（未更新的）記錄都必須刪除。什麼是正確的方式來處理MongoDB更新接近0宕機？其中瘋狂的解決方案：可能是我應該有兩個MongoDB實例，一個在生產，另一個正在更

0熱度

1回答

Apache-Beam將序列號添加到PCollection中

我試圖構建一個ETL來加載一個Dimension表。我使用Python和DataFlow和BigQuery來分配Apache Bea。我需要爲pcollection的每個元素分配一個序列號，以便將其加載到BigQuery中，但我找不到任何方法來執行此操作。我想我需要DataFlow使先前的聚合和連接，以獲得我最後的pcollection添加序列號，但在這一刻我需要停止並行處理，並將我的pcol

0熱度

2回答

如何每月迭代bigquery代碼？

我想重複下面的代碼與按月，這樣我可以爲月度數據的畫面儀表盤脫機每個月誰去： SELECT Deal_ID, Category, MONTH(date), YEAR(date) FROM [big-query-1233:BI_Automation.live_deals_history_since_15_sep] WHERE MONTH(date)

0熱度

1回答

Datalab to BigQuery - 將變量值插入到SQL中

我正在嘗試使用Google Datalab-BigQuery魔術命令通過datalab筆記本將數據插入到BigQuery表中。當我運行這段代碼時，它正常工作，正確顯示錶中的數據; INSERT mydataset.sampletable (word, count) VALUES('testing', 7) 不過，我想有自己的變量，我會再插入BQ字符串「測試」和7號。我已設置： test =

1熱度

2回答

Spark與AVI兼容BigQuery

我試圖在Hive中創建一個外部表，並使用存儲在Avro格式的Google存儲中的相同數據在BigQuery中創建另一個表。我使用的是Dataproc集羣星火2.2.0，星火的Avro 4.0.0和2.1.1蜂房有Avro的版本/包之間的差異一樣，但如果我創建使用蜂巢表和然後我使用Spark編寫文件，我可以在Hive中看到它們。但是對於BigQuery是不同的，它能夠讀取Hive Avro文件

2熱度

2回答

轉換重複記錄到重複的字符串數組

0熱度

2回答

RDD JSON文件處理

我使用上Pyspark以下代碼導入從BigQuery資料： table_data = sc.newAPIHadoopRDD( 'com.google.cloud.hadoop.io.bigquery.JsonTextBigQueryInputFormat', 'org.apache.hadoop.io.LongWritable', 'com.google.gson.Js

3熱度

1回答

與多個_TABLE_SUFFIX條件

嵌套查詢意外的結果考慮下面的查詢（標準語法）： WITH v AS ( SELECT _TABLE_SUFFIX AS y, * FROM `bigquery-public-data.noaa_gsod.gsod*` WHERE _TABLE_SUFFIX > '2000') SELECT y, C