通過SSH隧道連接到通過YARN運行的Spark

Question

我在遠程集羣上運行YARN下的Spark安裝，並在我和頭節點之間有防火牆。我可以用一個ssh隧道接入到頭節點：

> ssh -N -f -L 10000:remotenode:10000 between_machine 

與此設置的作品，例如，訪問HiveServer2上remotenote運行。如果星火在集羣模式下運行，我需要做的只是在7077端口相同，直接pyspark客戶localhost與

> ssh -N -f -L 7077:remotenode:7077 between_machine 
> ./pyspark --master spark://localhost:7077 

我如何能做到這一點星火紗線調度下運行？

Answer 1

如果你正在尋找一個端口連接，這裏是從doc報價：//：4040在Web瀏覽器

你可以通過簡單地打開 HTTP訪問該界面。如果多個SparkContexts 正在同一主機上運行，​​它們將綁定到從4040（4041,4042等）開始的連續端口 。

如果你只是尋找一個更普遍的方式去通過ssh「隧道」的主持人，你可以嘗試的ssh工作作爲SOCKS代理：

ssh user@host -D 20000 

，然後配置你的瀏覽器連接通過socks proxy（host - localhost，port - 20000）。