谷歌的Dataflow和Google的dataproc有什麼區別？

Question

DataFlow本身具有ETL，計算和流式處理爲什麼我們需要去Google的Dataproc？

Answer 1

Google Dataflow是一個完全託管和自我優化的雲服務，可讓您使用Apache Beam編程模型編寫批處理和流式數據處理管道。它與許多開源和Google雲數據源和接收器集成在一起。

Google Dataproc是一種完全託管的雲服務，用於以簡單經濟高效的方式運行Apache Hadoop和Apache Spark羣集。如果您擁有使用Spark，Hive或Pig的現有數據處理管道，這是移動管道的一種快捷方式。您可以隨時安裝自定義軟件包，啓動/停止和擴展這些羣集。頂級Google Dataproc與許多Google雲數據服務集成在一起。