在Java中使用Kafka進行Spark結構化流式編程

我想要做的是將json格式的數據從kafka轉換爲數據框。我可以通過創建一個模式並使用from_json來輕鬆完成此操作，如下所示：How to use from_json with kafka connect 0.10 and Spark Structured Streaming?在Java中使用Kafka進行Spark結構化流式編程

但是有沒有辦法使用Java代替Scala來做同樣的事情？據我所知，java中沒有「from_json」API。

謝謝！

來源

2017-07-26 teddy

[有Java專用'from_json']（https://spark.apache.org/docs/latest/api/scala/index.html#[email protected]_json（e ：org.apache.spark.sql.Column，schema：org.apache.spark.sql.types.StructType，options：java.util.Map [String，String]）：org.apache.spark.sql.Column） – nonsleepr

@nonsleepr你確定嗎？您發佈的鏈接來自scala API。而且java程序甚至找不到import：import org.apache.spark.sql.functions.from_json – teddy

呵呵，我很抱歉習慣使用Scala文檔。這裏是Java：https://spark.apache.org/docs/2.1.0/api/java/org/apache/spark/sql/functions.html#from_json(org.apache.spark.sql.Column,%20org .apache.spark.sql.types.StructType） – nonsleepr

即使它在javadoc中，我仍然無法在Java中找到from_json。我覺得這可能是未來Apache a spark的修復。或者它可能只是火花流不支持Java那麼好。

來源

2017-08-08 08:57:35 teddy

在Java中使用Kafka進行Spark結構化流式編程

回答

相關問題