通過Dataflow API在不同步驟檢查數據水印

在數據流UI中，我可以在作業的各個步驟檢查數據水印（例如在GroupByKey步驟，數據水印是2017-05-24（10:51 ：58））。是否可以通過Dataflow API訪問這些數據？通過Dataflow API在不同步驟檢查數據水印

來源

2017-05-24 user01380121

是的，您可以使用gcloud命令行工具來訪問API。

gcloud beta dataflow metrics list <job_id> --project=<project_name>

查找數據水印結束

F82-windmill-data-watermark

但是指標，這還不是容易理解的，因爲該命名是基於數據流圖的優化視圖，的不是視圖代碼和UI看起來像的管道圖。它也使用FX等標識符。

可能最好取所有的數據水印並獲取最小值，這將顯示流水線尚未完全處理的元素的最早時間戳。

您在尋找哪些信息？

請參見： https://cloud.google.com/sdk/gcloud/reference/beta/dataflow/

來源

2017-05-24 16:54:21

謝謝。我特別在作業的最後一步尋找數據水印，寫入接收器。我想這會和最小水印一樣。這聽起來像我可以引用cbt（https://github.com/GoogleCloudPlatform/google-cloud-go/blob/master/bigtable/cmd/cbt/cbt.go）以瞭解如何通過Go應用程序訪問此信息。這是我會定期進行監控，以確保工作與流數據「保持一致」。 – user01380121

如果您有興趣爲這些指標添加提醒，您也可以考慮查看此博文。 https://cloud.google.com/blog/big-data/2017/03/monitoring-and-improving-your - 谷歌 - 雲數據流，管道與 - 谷歌 - 爲Stackdriver –

通過Dataflow API在不同步驟檢查數據水印

回答

相關問題