將Google Firebase導出到Bigquery

Question

我試圖將我的Google Firebase數據庫導出到Google Bigquery，但除了手動導出所有內容外，還沒有找到解決方案。我找到了多種導出Firebase分析的方式，但這不是我想要的。任何幫助或任何會指向我的正確方向將不勝感激。謝謝大家！

• 韋斯

Answer 1

我相信，這僅僅是在分析一個自動化的方式支持。

您可能可以編寫一個腳本來從備份加載[1]，但您需要一些中間處理才能使它們進入BigQuery需要的換行符分隔的JSON格式。您還需要決定如何將樹結構拆分爲多個表。

向其公共問題跟蹤器添加功能請求可能值得（如果Firebase團隊有一個）。

[1] https://firebase.google.com/docs/database/ios/backups

Answer 2

手動導出/導入

如果你希望做一個一次性導出/導入，您可以手動執行此操作。查看Firebase數據庫控制檯時，點擊三點圖標以獲取更多選項。其中一個選項是「導出JSON」，它會將文件下載到您的計算機。如果您希望將文件下載到服務器，您也可以使用REST API執行相同的操作。

下載數據庫導出後，您可以嘗試按照loading data into BigQuery from a file的文檔。根據您的數據庫結構，您可能需要重新格式化/重構數據以與BigQuery預期的兼容。

流出口/進口

如果你需要從數據庫到BigQuery的流數據，你可以使用Firebase Cloud Functions。例如，您可以編寫一個函數triggered by a Database-event，該函數使用BigQuery NodeJS client將該數據流式傳輸到BigQuery表。

請務必熟悉相關的costs & quotas以及關於streaming data into BigQuery的文檔。