管理谷歌dataproc可搶佔工作者永久磁盤大小

Question

我在使用谷歌dataproc創建的集羣上使用jupyter，它工作得很好。

我試圖改變集羣「大小」（機器類型，啓動磁盤大小，工人數量......）以適應我的需要，它工作得很好。

主要問題是我沒有得到如何更改可搶佔工作者的永久磁盤大小。

我使用這個命令：

gcloud dataproc clusters create jupyter --project <my_project> --initialization-actions gs://dataproc-initialization-actions/jupyter/jupyter.sh --num-preemptible-workers 0 --master-boot-disk-size 25 --worker-boot-disk-size 10 --worker-machine-type n1-standard-1 --worker-boot-disk-size 10 

我希望「--worker-boot-disk-size 10」選項會一直也適用於那些搶佔，但事實並非如此。

那麼，有什麼辦法可以改變可搶佔員工的啓動磁盤大小嗎？

此外，谷歌會收取我爲搶先工作者永久磁盤使用量？

Answer 1

測試版dataproc gcloud通道提供了--preemptible-worker-boot-disk-size這聽起來像是你想要的東西。

例如：

gcloud beta dataproc clusters create ... --preemptible-worker-boot-disk-size 500GB 

在這裏宣佈： https://cloud.google.com/dataproc/release-notes/service#july_1_2016

由於september_16_2016釋放，--preemptible工人啓動磁盤大小的可以在不產生任何搶佔VM使用： https://cloud.google.com/dataproc/docs/release-notes/service#september_16_2016

Answer 2

注意： 只有在創建羣集時，才能使用「--preemptible-worker-boot-disk-size」。 如果創建一個集羣，然後使用

gcloud dataproc clusters update jupyter --project <my_project> --num-preemptible-workers 50 

新搶佔istances將有持續的磁盤大小的100GB。 如果您嘗試使用：

gcloud dataproc clusters update jupyter --project <my_project> --num-preemptible-workers 50 --preemptible-worker-boot-disk-size 10 

或

gcloud beta dataproc clusters update jupyter --project <my_project> --num-preemptible-workers 50 --preemptible-worker-boot-disk-size 10 

將無法​​正常工作。