在多用戶dask.distributed集羣中分離python環境有哪些選項？

Question

當多個用戶上傳（upload_file）相同的python文件或zip內容的略微不同的版本時，我特別感興趣的是避免衝突。

看起來這不是真正的支持用例，因爲工作進程是長期運行的並且受到其他環境的更改/添加影響。

我喜歡圖書館的簡單按需本地/遠程上下文切換，所以希望瞭解我們可能擁有哪些選項的任何洞察，即使這意味着針對用戶特定的工作進程的一些無縫的類似部署步驟。

Answer 1

通常，具有不同用戶環境的解決方案是在Kubernetes，Marathon或Yarn等其他工作計劃程序之上啓動並銷燬不同Dask工作人員/計劃人員的網絡。

如果您需要重複使用同一組dask工作人員，那麼您也可以小心地指定workers=關鍵字一致，但這很容易出錯。