2017-08-04 83 views
2

我正在通過活動json中的policy.timeout屬性強制數據工廠中的自定義活動超時。數據工廠的優雅的自定義活動超時

但是我還沒有看到任何文檔建議如何超時操作Azure批處理?我假設批處理任務被強制以某種方式終止。

但是任務 - >定製活動通知所以它可以收拾?

我問的原因是,我可能會中間複製到數據湖店,我既不想讓它無限期地運行,也不會停止它沒有某種清理(我不能看到一種做交易的方式作爲例如使用數據湖商店SDK)。


我正在考慮把超時定製活動中,但它是一個恥辱,必須在兩個不同的級別定義超時(我可能還是要整體超時)。

回答

1

我感到你的痛苦。如果達到了自己的時間了,無論什麼狀態調用的服務是。

我有帶U-SQL處理調用了同樣的問題

ADF不會簡單地終止了活動。通過PowerShell進行大量主動監控,以確保數據緩衝或批處理作業具有足夠的計算能力,在發生ADF超時終止之前以不斷增加的數據量完成作業。

我不知道ADF處理此問題的任何優雅方法,因爲它對於每種活動類型都會有所不同。

現在可以爲Microsoft創建另一篇反饋文章了!

+0

感謝Paul,我剛剛向微軟發佈了反饋:https://feedback.azure.com/forums/270578-data-factory/suggestions/20440609-graceful-custom-activity-timeout-in-data-factory –

+1

謝謝,投票。 –

相關問題