scala

    5熱度

    1回答

    假設我們有以下的文本文件(df.show()命令的輸出): +----+---------+--------+ |col1| col2| col3| +----+---------+--------+ | 1|pi number|3.141592| | 2| e number| 2.71828| +----+---------+--------+ 現在我想讀/解析它作爲一個數據幀/

    3熱度

    2回答

    我想創建一個Int值存儲這樣的一個類型級表示: sealed trait Position { def value : Int } class P1 extends Position {val value = 1} class P2 extends Position {val value = 2} 當一個類繼承它: case class PExtended() extends

    1熱度

    2回答

    我有一個表包含一列「年齡」。我想根據他們的年齡分組人羣,EX:[0,5],[5,10],[10,15],... 然後我會爲每個組做同樣的計算並比較結果。 這樣做的目標是查看年齡是否與其他變量有關。 請幫忙。

    0熱度

    1回答

    讀取Spark文檔的第一個函數,它提到ignoreNulls會得到第一個非空值。 import org.apache.spark.sql.SparkSession import org.apache.spark.sql.functions._ import org.apache.spark.sql.expressions.{Window, WindowSpec} object tmp {

    1熱度

    1回答

    我正在構建mongodb對象並將它傳遞給mongo存儲庫的findAll方法。 如何通過圍繞所有這些領域設計索引來實現更快的性能? val criteriaQuery = MongoDBObject.newBuilder criteriaQuery += OrderNames.CLIENT_ID -> clientId if (StringUtils.isNotBlank(orderId))

    0熱度

    1回答

    我遇到以下scala示例,它解釋了aggregateByKey。 斯卡拉例:以上Scala代碼 val pairs=sc.parallelize(Array(("a",3),("a",1),("b",7),("a",5))) import scala.collection.mutable.HashSet //the initial value is a void Set. Adding an

    0熱度

    2回答

    我是scala的新手,我正在嘗試創建一個代碼尚未完成的樹。這是我做了什麼: class Tree { class TreeNode(val n: Int, val points: Array[Double], val center: Double) extends Tree{ } sealed trait Tree { def elem : TreeNode } def

    1熱度

    1回答

    我試圖啓動一個卡夫卡服務器形式的Java 具體來說,我怎麼能翻譯斯卡拉的this line入行渣華的? private val server = new KafkaServer(serverConfig, kafkaMetricsReporters = reporters) 我可以輕鬆地創建serverConfig中,但我似乎無法能夠創建kafkaMetricsReporters參數。 注:我

    1熱度

    1回答

    只選擇每n個元素減少星火據幀的大小 I V有一個org.apache.spark.sql.Dataframe = [t: double, S: long] 現在我想通過每2元,以減少據幀,與val n=2 結果應該是 你會如何解決這個問題? 我嘗試了插入第三列並使用模,但我無法解決它。

    0熱度

    1回答

    我想了解Spark中的分區。 我在Windows 10本地模式下運行spark。 我的筆記本電腦有2個物理內核和4個邏輯內核。 1 /術語:對我來說,spark =核心線程。所以Spark中的核心與物理核心不同,對吧? Spark核心與任務相關聯,對嗎? 如果是這樣,因爲你需要一個分區線程,如果我的sparksql數據框有4個分區,它需要4個線程嗎? 2 /如果我有4個邏輯內核,是否意味着我只能在