如何在IDE上本地開發Beam Pipeline並在Dataflow上運行？

2017-08-16 56 views 0 likes

如何在IDE上本地開發Beam Pipeline並在Dataflow上運行？我想在我的PC中使用pycharm開發Beam管道並在Dataflow上運行它們。有沒有關於如何做到這一點的教程？如何在IDE上本地開發Beam Pipeline並在Dataflow上運行？

來源

2017-08-16 EmmaYang

您可以在本地開發它，它通過「--runner = DataflowRunner」 pipelineoption參數發送到數據流服務執行。查看Google Dataflow文檔獲取更多信息：https://cloud.google.com/dataflow/docs/quickstarts/quickstart-python 切換到「DirectRunner」在本地執行管道，這將使調試和開發更容易。 –

Gindele-我可以使用「直接運行」在本地運行它，而不是在Google雲數據流服務上運行它嗎？ – EmmaYang

是的，設置--runner = DirectRunner將在本地運行它。 –

回答

設置參數爲： https://cloud.google.com/dataflow/pipelines/specifying-exec-params

，並嘗試例子爲： https://github.com/apache/beam/blob/master/sdks/python/apache_beam/examples/wordcount_minimal.py

來源

2017-08-17 14:07:09 EmmaYang

相關問題