緩慢插入bq +後端錯誤

Question

我們在將數據插入BigQuery時遇到問題。 我們位於荷蘭。

的命令：
ADM @ la478 ads_csv $時間BQ負載--debug_mode --skip_leading_rows 1個--max_bad_records 100 --project_id 197553342340 ad_monitoring.ad ad_bd9a6230-2d34-4cf1-8553-04d9c2f8c52b.csv.gz
大量查詢誤差在負載操作：後端錯誤

的度量：
真實4m35.997s
用戶0m0.963s
SYS 0m0.169s

文件大小：
-RW-RW-RW-1個ADM管理員3900年07月10 17:02 ad_bd9a6230-2d34-4cf1-8553-04d9c2f8c52b.csv.gz
200MB的未壓縮

可以請你建議使用做什麼？

Answer 1

我正在調查我們後端的問題，但如果您通過Google存儲進行導入，您可能會有更好的運氣（尤其是來自歐洲）。如果您運行gsutil cp ad_monitoring.ad ad_bd9a6230-2d34-4cf1-8553-04d9c2f8c52b.csv.gz gs://your_bucket/ad_monitoring.ad ad_bd9a6230-2d34-4cf1-8553-04d9c2f8c52b.csv.gz，然後你可以改變BQ命令行：

bq load --debug_mode --skip_leading_rows 1 --max_bad_records 100 --project_id 197553342340 ad_monitoring.ad gs://your_bucket/ad_bd9a6230-2d34-4cf1-8553-04d9c2f8c52b.csv.gz

我在尋找我們的日誌你的工作，它看起來像已經出現了一堆失敗近期負載工作'TOO_MANY_ERRORS'。如果你使用bq ls -j和bq show -j <job_id>，你可以得到更多關於這些信息。