Spark結構化流媒體集成與Kinesis

Question

我想弄清楚Kinesis集成Spark結構化流媒體是否穩定。 AWS大數據博客幾乎沒有任何關於Kinesis和Spark Structured Streaming的博客。想知道你們中的任何人是否嘗試過Spark Structured Streaming與Kinesis？如果是這樣，你覺得它穩定？

Answer 1

現在沒有包可以使用kinesis作爲結構化流的源。 Databricks has it，但它並未與Spark一起發佈。 有一個third party integration，但作爲開發商所說的那樣：「這只是一個原型，以檢查可行性的室壁運動一體化」

作爲一種變通方法，並根據您的要求，您可以創建一個「老好人」火花流/ kinesis集成，並將數據輸出到文件夾。然後使用該folder as source進行結構化的流式處理。