我有一個問題給你。如果我在Databricks中構建了一個將數據加載到BigQuery中的ETL,但是我希望在每次運行ETL之前擦除BigQuery表,那麼這可能嗎?對新手問題抱歉!謝謝!!!從Spark ETL重置BigQuery表格
0
A
回答
2
當負載下是控制什麼和如何發生與表加載有用jobs.insert的configuration.load特提供的數據有兩個屬性(以及許多其他)爲:
configuration.load.writeDisposition
[可選]指定在目標表已存在時發生的操作。
支持以下值:
WRITE_TRUNCATE:如果表已存在,BigQuery將覆蓋表數據。 WRITE_APPEND:如果表已存在,則BigQuery將數據附加到表中。
WRITE_EMPTY:如果表已經存在且包含數據,則在作業結果中會返回「重複」錯誤。
默認值是WRITE_APPEND。每個操作都是原子操作,只有在BigQuery能夠成功完成任務時纔會發生。創建,截斷和追加操作在作業完成時作爲一個原子更新發生。
和
configuration.load.createDisposition
[可選]指定作業是否允許創建新表。
支持以下值:
CREATE_IF_NEEDED:如果表不存在,BigQuery將創建表。
CREATE_NEVER:表格必須已經存在。如果沒有,則在作業結果中返回'notFound'錯誤。
默認值是CREATE_IF_NEEDED。創建,截斷和追加操作在作業完成時作爲一個原子更新發生。
所以,WRITE_TRUNCATE
是你在找什麼
相關問題
- 1. Spark SQL vs Impala對於ETL
- 2. BigQuery針對ETL(外部表格和視圖與數據流)的最佳方法
- 3. Databricks ETL - > BigQuery,WRITE_TRUNCATE不起作用
- 4. Spark BigQuery連接器vs Python BigQuery庫
- 5. 使用Python從Bigquery到Redshift的ETL數據
- 6. Google BigQuery vs Spark和Parquet
- 7. Spark與AVI兼容BigQuery
- 8. 從Bigquery的每月表格到每日表格
- 9. 斯卡拉Spark中的ETL過程
- 10. Spark ETL作業只執行一次mysql
- 11. BigQuery中表格的結構
- 12. 重置AJAX表格
- 13. 的BigQuery - 重塑表矢量
- 14. 重置Django表格
- 15. Google Cloud上的ETL - (數據流與Spring批處理) - > BigQuery
- 16. 如何使用Python BigQuery API追加到BigQuery中的表格
- 17. Windows ETL Trace文件格式?
- 18. 從Spark指定CSV格式的Hive表格作爲格式
- 19. 從ETL轉到ELT?
- 20. 在BigQuery上使用ETL的最佳實踐?
- 21. 如何在BigQuery中創建非分區表。並在BigQuery中爲表格導出表格SQL?
- 22. 在三葉草ETL中更改XML文件格式ETL
- 23. Datalab不會填充bigQuery表格
- 24. 跨Cloud Bigtable和BigQuery加入表格
- 25. 在BigQuery中恢復覆蓋表格
- 26. BigQuery tabledata:列表輸出到bigquery表中
- 27. 如何在一個Excel表格中創建兩個表格使用Visual Studio ETL?
- 28. BigQuery:從表格加載數據 - 拒絕訪問
- 29. 關於從bigquery刪除重複的CSV文件或行表
- 30. 將表格拆分成BigQuery中的多個表格SQL