0

我的團隊和我有一個基於來自亞馬遜的Kinesis服務的流媒體系統,它使用Java獨立使用者和KCL向其他團隊提供跟蹤信息。我們已決定將此係統遷移到Google雲端平臺。從AWS遷移Kinesis

我們瞭解到Google平臺上的Amazon Kinesis的自然替代是Google Cloud Dataflow服務。是對的嗎?

其他問題與數據分區有關,因爲我們在Kinesis中使用user-id作爲分區鍵。可以在Google Dataflow上做同樣的分區嗎?

當然,有沒有人做過這樣的遷移?從AWS到Google平臺的類似遷移?有任何建議嗎?

回答

2

是的,雲數據流將是正確的選擇,如果您想使用主題和訂閱,您可能還希望將Cloud Pub/Sub視爲您的消息傳遞中間件。

通過密鑰分區數據在Dataflow中完全可行,但您無需爲整個管道決定單個分區密鑰。相反,當您準備好執行聚合操作時,您只需定義一個GroupByKey轉換,並且Dataflow將正確地將數據分割爲多個分區,並以並行方式分佈式處理它們。每個工作人員將擁有您的密鑰的子範圍。

您可以在一個序列中有多個GroupByKeys,他們可以使用不同的鍵來執行分片和聚合。

以前AWS用戶遷移到GCP(特別是Dataflow)的最新示例是Brightcove。這裏是他們的GCP的錄音下一個會話https://www.youtube.com/watch?v=3BrcmUqWNm0&feature=youtu.be&t=29m30s