0
有沒有辦法讓我打印輸入數據?對於例如我在一個尋找json文件的文件夾上有一個readStream,但是看起來有一個問題,因爲我在聚合輸出中看到'nulls'。結構化流式調試輸入
val schema = StructType(
StructField("id", LongType, false) ::
StructField("sid", IntegerType, true) ::
StructField("data", ArrayType(IntegerType, false), true) :: Nil)
val lines = spark.
readStream.
schema(schema).
json("in/*.json")
val top1 = lines.groupBy("id").count()
val query = top1.writeStream
.outputMode("complete")
.format("console")
.option("truncate", "false")
.start()
你爲什麼不'線.writeStream.format(「console」)'然後呢? –