5
我們目前正在使用Google的Cloud Dataflow SDK（1.6.0）在GCP中運行數據流作業，但是我們正在考慮轉向Apache Beam SDK（0.1.0）。我們仍然會使用數據流服務在GCP中運行我們的工作。有沒有人經歷過這種轉變並有建議？這裏是否存在兼容性問題？GCP鼓勵此舉？在Cloud Dataflow中使用Beam SDK
A
回答
2
數據流尚未支持Formally Beam（儘管這當然是我們正在努力的方向）。我們建議留在Dataflow SDK中，尤其是在SLA或支持對您很重要的情況下。那就是說，我們的測試表明Beam運行在Dataflow上，雖然這可能會隨時崩潰，但當然歡迎您冒着風險嘗試。
更新： 數據流的SDK現在基於梁作爲數據流SDK 2.0（https://cloud.google.com/dataflow/release-notes/release-notes-java-2）的釋放。雲數據流目前支持Beam和Dataflow SDK。
相關問題
- 1. google-cloud-dataflow vs apache-beam
- 2. Google Cloud Dataflow（Apache Beam） - 我可以使用SideInputs和TextIO.write嗎？
- 3. Google Cloud Dataflow - Apache Beam - 管道關閉掛鉤
- 4. 空側輸出在SDK 2.0.0上爲Dataflow/Beam投擲NPE
- 5. Beam/Dataflow中的批處理PCollection
- 6. 如何使用Beam 2.0創建Dataflow模板管道？
- 7. spring-cloud-dataflow中的遞歸
- 8. 通過Cloud Dataflow API提交
- 9. 使用spring-cloud-dataflow時spring-cloud-stream應用中的屬性不起作用
- 10. Spring Cloud DataFlow自動運行
- 11. Cloud Dataflow，PubSub＆Bigquery（TableRowJsonCoder）問題
- 12. 更改Google Cloud Dataflow BigQuery Priority
- 13. Spring Cloud DataFlow和Kafka安全
- 14. Google Cloud Dataflow管道中的例外情況從BigQuery到Cloud Bigtable
- 15. 在Google Cloud Dataflow中使用XmlSource讀取XML文件時發生ClassCastException
- 16. 在Google Cloud Dataflow中一次應用多個聚合
- 17. Dataflow中的自定義Apache Beam Python版本
- 18. 如何使用Google Cloud Dataflow將壓縮文件寫入Google Cloud Storage？
- 19. Docker配置 - Spring Cloud DataFlow服務器
- 20. Spring Cloud DataFlow文檔缺少章節
- 21. Dataflow Python SDK Avro Source/Sync
- 22. 在生產環境中使用Spring Cloud Dataflow Local Server是否安全？
- 23. Google Cloud Dataflow和Google Cloud Dataproc有什麼區別？
- 24. 爲什麼從Dataflow/Beam管道寫入BigQuery很慢？
- 25. Google Cloud Dataflow無法在Google存儲中查找父目錄
- 26. GroupByKey在Google Cloud Dataflow中沒有返回任何元素
- 27. 無法更新工作狀態Python Cloud Dataflow中的異常
- 28. Google Cloud SDK與Google Cloud Client庫
- 29. 如何避免在Luigi內部使用Google-Cloud-Dataflow導入錯誤
- 30. 如何在IDE上本地開發Beam Pipeline並在Dataflow上運行？
任何想法，如果這將很快改變？ – Narek
對此有何更新？ –
Dataflow 2.0 SDK最近發佈並且是基於Apache Beam的Dataflow Java SDK的第一個受支持版本。看看：https：//cloud.google.com/dataflow/release-notes/release-notes-java-2 –