火花在火花獨立羣集模式下運行所需的最低硬件安全數是多少？

，我在我的本地計算機上運行。這種火花獨立的集羣模式是關於我的電腦火花在火花獨立羣集模式下運行所需的最低硬件安全數是多少？

Intel酷睿i5
處理器數量的硬件信息：1 總核心數：2
內存：4 GB。

我想從eclipse上運行火花單機集羣上的spark程序。這是我的代碼的一部分。

String logFile = "/Users/BigDinosaur/Downloads/spark-2.0.1-bin-hadoop2.7 2/README.md"; // 
SparkConf conf = new SparkConf().setAppName("Simple Application").setMaster("spark://BigDinosaur.local:7077"));

在Eclipse中運行程序後，我得到以下警告消息

初步工作沒有接受任何資源;檢查你的集羣用戶界面，以確保工人註冊，並有足夠的資源

這是我的web UI

的屏幕截圖，通過其他人的回答好像硬件資源錯配類似的問題去後是根本原因。

我想獲得更多的信息

什麼是在其上運行的應用程序所需的火花獨立集羣的最低硬件insfracture？

來源

2016-11-10 abishkar bhattarai

你是否在配置文件中設置了一些東西？我能夠在我的上網本華碩1011px上運行一個簡單的Spark作業，1 GB Ram和一個Intel Atom。 –

你有沒有開始使用sbin文件夾下的其中一個skript工具？ –

如果你真的受到資源的限制，你可以試試Databricks Community Edition。 –

據我所知。 Spark在Spark任務啓動時從可用內存分配內存。

您可能想嘗試在啓動作業時明確提供內核和執行程序內存。

來源

2016-11-11 00:02:04 user7005835

它開始運行我運行以下命令 ./start-slave.sh火花之後：//本地主機：7077個--cores 1 --memory1克

我給了核心1和內存1克

來源

2016-11-11 05:26:30

火花在火花獨立羣集模式下運行所需的最低硬件安全數是多少？

回答

相關問題