無法在google-cloud-dataproc中啓動Spark Thrift服務器

Question

我在啓動谷歌雲數據集羣端口10010中的spark sql的節儉服務器時遇到了困難，它出現以下錯誤，任何人都可以幫忙嗎？我試圖改變端口號仍然沒有運氣。

須藤-u火花HIVE_SERVER2_THRIFT_PORT = 10010 /usr/lib/spark/sbin/start-thriftserver.sh

這裏是日誌：

16/11/30 23時47分十六秒INFO有機.apache.hive.service.AbstractService：Service：啓動ThriftBinaryCLIService。 16/11/30 23:47:16 INFO org.apache.hive.service.AbstractService：Service：HiveServer2已啓動。 16/11/30 23:47:16錯誤org.apache.hive.service.cli.thrift.ThriftCLIService：啓動HiveServer2時出錯：無法啓動ThriftBinaryCLIService org.apache.thrift.transport.TTransportException：無法在服務器上創建ServerSocket地址0.0.0.0/0.0.0.0:10002。 （org.apache.thrift.transport.TServerSocket）（TServerSocket.java:109） at org.apache.thrift.transport.TServerSocket。（TServerSocket.java:91） at org.apache.thrift.transport.TServerSocket。 （TServerSocket.java:87） at org.apache.hive.service.auth.HiveAuthFactory.getServerSocket（HiveAuthFactory.java:241） at org.apache.hive.service.cli.thrift.ThriftBinaryCLIService.run（ThriftBinaryCLIService.java ：66） at java.lang.Thread.run（Thread.java:745） 16/11/30 23:47:16 INFO org.apache.hive.service.server.HiveServer2：關閉HiveServer2 16/11/30 23:47:16 INFO org.apache.hive.service.AbstractService：Service：ThriftBinaryCLIService已停止。 16/11/30 23:47:16 INFO org.apache.hive.service.AbstractService：Service：OperationManager停止。 16/11/30 23:47:16 INFO org.apache.hive.service.AbstractService：Service：SessionManager停止。 16/11/30 23:47:16 INFO org.apache.hive.service.AbstractService：Service：CLIService已停止。 16/11/30 23時47分十六秒INFO org.apache.hive.service.AbstractService：服務：HiveServer2停止

Answer 1

我不知道是什麼原因，沒有工作，但我會建議運行 apt-get install spark-thriftserver代替。

服務器默認配置爲在端口10002上出現（因爲它試圖在您的情況下），但您可以在spark-env.sh中更改該端口。

還值得注意的是，帶AppMaster和執行程序的Thrift Server可以填充一個小羣集，或者被另一個小型Spark作業阻止。