BigQuery在幾乎每次加載嘗試時都會加載失敗，並顯示後端錯誤

Question

我一直試圖在近兩天內加載兩個大型數據集，每個大型數據集都是〜30GB/s，並且分成50個未壓縮的〜600MB文件來自一個桶。幾乎所有的作業都會因「內部」或「後端」錯誤而失敗。

我試過用通配符（如* csv）提交，我也嘗試過單個文件。

在極少數情況下，加載作業在幾分鐘內不會失敗，它將在6或7小時後最終死亡。

我已經拆分了這些文件，並將它們解壓縮以幫助加載時間，這會造成問題嗎？昨天大約7小時後，我確實已經成功壓縮了版本，但到目前爲止，我只能夠從存儲桶中加載一個未壓縮的單個350 MB CSV。

下面是一個例子：

錯誤：執行過程中遇到的錯誤 。重試可能會解決問題。 （錯誤代碼：backendError） 作業ID bvedemo：bquijob_64ebebf1_1532f1b3c4f

後端錯誤就意味着有事情發生在谷歌，但我必須做一些錯誤的，有它往往不能這樣！

Answer 1

當天的課程：不要嘗試將近線桶中的數據加載到BigQuery中。

我將數據移入標準存儲桶，從那裏重新加載，並在不到1分鐘內加載65GB數據。