如何在Dataproc上安裝Jupyter/iPython？

Question

我想在Cloud Dataproc上使用Jupyter/iPython。我如何在創建新羣集時自動進行安裝和配置？

Answer 1

Cloud Dataproc團隊有一個GitHub repository of initialization actions包含示例和經常使用的初始化操作。您可以使用存儲庫中的iPython來自動安裝和配置iPython。 initialization action page有關創建新羣集時如何使用腳本的更多詳細信息。

的文藝青年最愛的過程：

1. Download爲IPython的
2. 保存初始化動作到谷歌雲存儲桶

3. Create a new cluster初始化動作與使用--initalization-actions標誌Google Cloud SDK：

   gcloud beta dataproc clusters create <my-dataproc-cluster> --initialization-actions gs://<my-bucket>/ipython.sh

4. Create an SSL tunnel and SOCKS proxy到集羣

5. 打開Web瀏覽器到主節點http://<my-dataproc-cluster>-m:8123

在上面，你需要與你的雲存儲桶的名稱和<my-dataproc-cluster>的名稱，以取代<my-bucket>的例子的羣集。另請注意，對於第5步，URL應該將-m添加到羣集名稱中，以便訪問主節點。

Answer 2

除了上一個答案，此過程在article中有詳細描述。此外，它涵蓋了Python 3並將筆記本保留在雲存儲中。