在HDInsight的Jupyter筆記本上導入自己的模塊

Question

我已經在Microsoft Azure上部署了一個標準配置（位置=美國東部，頭節點= D12 v2（x2），工作節點= D4 v2的HDInsight 3.5 Spark（2.0） X4））。當羣集運行時，我連接到Jupyter筆記本，並嘗試導入自己創建的模塊。

import own_module 

這不幸的是不行的，所以我試圖1）上傳own_module.py在Jupyter筆記本產品和2）通過ssh連接添加own_module.py到/ home/sshuser。後來我加入/家庭/ sshuser移到sys.path和PYTHONPATH：

sys.path.append('/home/sshuser') 
os.environ['PYTHONPATH'] = os.environ['PYTHONPATH'] + ':/home/sshuser' 

此操作也不起作用。而錯誤仍然顯示：

No module named own_module 
Traceback (most recent call last): 
ImportError: No module named own_module 

有人可以告訴我如何可以導入自己的模塊？最好將它們放在Azure Blob存儲中，然後將它們傳輸到HDInsight羣集。

Answer 1

您可以使用火花上下文的addPyFile方法。首先將該文件放入Azure blob存儲中，然後複製公用http/https地址並將該URL用於addPyFile函數。該模塊將在驅動程序和所有執行程序上訪問。