執行器無法在Spark獨立羣集中挑選postgres驅動程序

我正在提交play應用程序以啓動2.1獨立羣集。在遊戲應用程序中，還會添加postgres依賴項，並且應用程序在本地Spark庫上工作。但在獨立的羣集上運行時，它給我的錯誤：執行器無法在Spark獨立羣集中挑選postgres驅動程序

o.a.s.s.TaskSetManager - Lost task 0.0 in stage 0.0 (TID 1, 172.31.21.3, executor 1): java.lang.ClassNotFoundException: org.postgresql.Driver

我在火花defaults.conf目錄

spark.executor.extraClassPath /home/ubuntu/downloads/postgres/postgresql-9.4-1200-jdbc41.jar 
spark.driver.extraClassPath  /home/ubuntu/downloads/postgres/postgresql-9.4-1200-jdbc41.jar

還是執行人無法挑司機放在下面。我錯過了什麼？需要幫忙。謝謝。

來源

2017-04-04 Rishikesh Teke

地方的PostgreSQL-9.4-1200-jdbc41.jar您SPARK_DIRECTORY /瓶文件夾，重新啓動火花集羣

來源

2017-04-04 10:31:59

感謝RAHUL它的工作原理。 –

執行器無法在Spark獨立羣集中挑選postgres驅動程序

回答

相關問題