Http獲取/張貼到數據流

Question

我試圖將一些數據導入到數據流中，但數據不在雲存儲中 - 這是一個rss feed，我通常會每隔x個小時檢查一次。有沒有一種方法可以直接使用SDK，或者我必須首先以其他方式將文件存儲到雲存儲中。

在此先感謝。

Answer 1

數據流不提供RSS源的來源。

雖然您可以從ParDo發出HTTP請求來獲取數據。例如，假設提要允許您在某個時間範圍內提取郵件。然後，您可以創建一個輸入集合，其中每個記錄表示一段時間（例如一個小時）。然後，您可以編寫一個ParDo，它將獲取該時間範圍內的消息併發出它們。

如果您是流式早期訪問預覽的一部分，那麼 一個解決方案就是編寫一個App Engine應用程序（或同等產品），每隔X小時檢查一次RSS源，然後使用Google Cloud PubSub發佈數據。然後您可以使用PubSubIO來讀取Dataflow中的這些事件。