udf

    0熱度

    1回答

    我想使用這些變量來選擇兩個變量值範圍之間的條目。我的SQL查詢是String sql = "Select count(*) FROM Records WHERE event_time <= UPPERTIME('1') AND event_time >= LOWERTIME('1')";。在此查詢UPPERTIME('1')和LOWERTIME('1')是UDF有定義 spark.udf().re

    0熱度

    1回答

    我工作的蜂房UDF斯卡拉 class MyUDF extends UDF { def func(a: Double): Double { if (cond){ how to return null in this case? } else {some double} } } 我試圖null.asInstanceOf[Double]但這給人的輸出爲0

    0熱度

    3回答

    我在Aerospike中有一個帶有過濾器和地圖的udf流。 如果我映射,按照我所看到的所有的例子,我可以選擇從記錄的字段,並返回與過濾和選擇的領域一個新的地圖。但是,我不想這樣做。我想採取任何流,任何列/箱,應用過濾器,並返回完整的記錄。一種方法可能是使用stream:fiter(my_filter)而不使用地圖。直覺地(至少對我來說)這只是過濾和中繼流。這似乎並不奏效,令我感到沮喪。接下來我嘗試

    0熱度

    1回答

    我在BigQuery中創建了一個UDF,並像在FROM子句中使用UDF的文檔(https://cloud.google.com/bigquery/user-defined-functions#creating-the-query)中的示例那樣運行它。 但是,我需要的是在select中將UDF用作列。 舉一個例子 - 這是我的函數返回每個座標在全球的四分之一是: function getQuarte

    0熱度

    1回答

    打破 我已經做了這個代碼在databricks環境,但是當我嘗試在我的本地ENV它打破... val _event_day_of_week = (event_date_of_event: String) => { import java.time.LocalDate import java.time.format.DateTimeFormatter val form

    0熱度

    1回答

    我之前問過的問題如下。 Last question 表1 - ID對錶 表2 - 屬性表 表3 例如,id1和id2具有不同的顏色和大小,所以id1和id2行(表3中的第二行)具有「id1 id2 0 0」; id1和id3具有相同的顏色和不同的尺寸,所以id1和id3行(表3中的第3行)具有「id1 id3 1 0」; 相同的屬性--- 1個不同的屬性--- 0 但是,如果我不知道表2中有多少屬

    1熱度

    1回答

    我有一個表如下: val question = sqlContext.createDataFrame(Seq((1, Seq("d11","d12","d13")), (2, Seq("d21", "d22", "")))).toDF("Id", "Dates") +---+---------------+ | Id| Dates| +---+---------------+ | 1|

    0熱度

    1回答

    我正在收斂一個豬腳本來使用scala來激發1.6,我有一個包含字符串的數據框,並且我想以特定順序交換字符。 例如: +----------------+ | Info| +----------------+ |8106f510000dc502| +----------------+ 我想把它轉換成這樣的順序[3,1,5,7,6,(8-16),4,2] +--------------

    1熱度

    1回答

    我有一些困難結合幾個功能來做我想要的70000 +行excel文件。任何提示或指示或建議非常感謝。 我有2列(約值70000行)。在第1欄中,我有客戶的帳號(有重複的),在第2欄旁邊有我想提取的數據。我也有第三列(第3列),這是一個帳號列表,但已被刪除重複。我正在嘗試讓Vlookup查看第三列(lookup_value)的第一行,然後在(table_array)的第1列中搜索該值,並返回第2列中與

    5熱度

    1回答

    我有一個DataFrame有多個列,其中一些是結構。事情是這樣的 root |-- foo: struct (nullable = true) | |-- bar: string (nullable = true) | |-- baz: string (nullable = true) |-- abc: array (nullable = true) | |-- element: str