apache-spark

11熱度

2回答

當我運行我的鯊魚查詢時，內存被囤積在主內存中這是我的最高命令結果。紀念品：74237344k總，70080492k使用，4156852k免費，399544k緩衝交換：4194288k總，使用480K，4193808k免費，65965904k緩存這就算我殺不改變/停止鯊魚，火花，hadoop過程。現在，清除緩存的唯一方法是重新啓動機器。有沒有人遇到過這個問題？是火花/鯊魚中的一些配置問題

0熱度

2回答

Apache Spark支持向量機

我想在運行支持向量機（SVM）Apache Spark有一些見解。當我使用在Spark主目錄中給出的運行示例腳本並使用參數org.apache.spark.mllib.classification.SVMWithSGD時，它將顯示以下Usage: SVM <master> <input_dir> <step_size> <regularization_parameter> <niters>消息。

0熱度

1回答

在CentOS上安裝Spark時出現Java compliation錯誤

我試圖在CentOS上安裝Spark。使用sbt/sbt assembly命令構建火花時，它會產生以下錯誤。 [warn] /root/spark-0.8.0-incubating/core/src/main/scala/org/apache/spark/SparkHadoopWriter.scala:129: method cleanupJob in class OutputCommitter

2熱度

1回答

Spark with Cassandra：無法註冊spark.kryo.registrator

目前，我在嘗試在獨立模式下運行Cassandra時遇到一些問題。最初，我用「本地[4]」在SparkContext參數腦膜=成功運行。然後，我嘗試移動到獨立模式。我使用的是：的Ubuntu：12.04 卡桑德拉：1.2.11 星火：0.8.0 斯卡拉：2.9.3 JDK：甲骨文1.6.0_35 KRYO：2.21 起初，我得到了「未讀塊」錯誤。作爲其他主題的建議，我更改爲使用Kryo序列

2熱度

2回答

如何使用scala運行Spark流的twitter流行標籤？

我是Spark新手，請指導。有很多與Spark使用Scala相關的示例。您可以從https://github.com/apache/incubator-spark/tree/master/examples/src/main/scala/org/apache/spark/streaming/examples中查看。我想運行TwitterPopularTags.scala。我無法爲此示例設置t

7熱度

2回答

瞭解Spark和Scala中的並行性

我對Spark和Scala中的並行性有些困惑。我正在運行一個實驗，在該實驗中，我必須從磁盤更改/處理某些列中讀取許多（csv）文件，然後將其寫回磁盤。在我的實驗中，如果我使用SparkContext的並行化方法，那麼它對性能沒有任何影響。然而，簡單地使用Scala的平行集合（通過par）將時間減少到幾乎一半。我正在本地主機模式下運行我的實驗，使用參數local [2]作爲spark上下文。我

1熱度

1回答

Louvain方法有沒有Spark或Giraph實現？

這是用於在社交圖中查找社區的louvain方法。 https://sites.google.com/site/findcommunities/ 我想使用BSP方法如Spark或Giraph大圖運行。

2熱度

1回答

有沒有人成功在Cassandra上運行Apache Spark＆Shark

我試圖配置一個5節點的cassandra集羣來運行Spark/Shark來測試一些Hive查詢。我已經安裝了Spark，Scala，Shark，並根據Amplab [在集羣上運行鯊魚] https://github.com/amplab/shark/wiki/Running-Shark-on-a-Cluster進行配置。我能夠進入鯊魚CLI，當我嘗試創建一個外部表我的卡珊德拉的ColumnFa

5熱度

1回答

apache spark：本地[K]主URL - 作業卡住

我使用apache spark 0.8.0來處理大型數據文件，並在RDD上執行一些基本的.map和.reduceByKey操作。由於我使用具有多個處理器的一臺機器，我提到在主URL字段local[8]同時創造SparkContext val sc = new SparkContext("local[8]", "Tower-Aggs", SPARK_HOME) 但每當我提到的多個處理器，作業卡

1熱度

1回答

如何從sbt在ec2上運行spark集羣？

我用Scala編寫，使用火花方案，該方案在本地當我sbt run 我想能夠使用SBT亞馬遜的EC2集羣上運行它開始運行良好。這是可能的和如何？我已經看過http://spark.incubator.apache.org/docs/latest/ec2-scripts.html，但這似乎沒有做事情。我SBT版本： ~/git-reps/cs262a $ sbt --version sbt l