如何編寫用於Spark的ElasticsearchSink結構化流式傳輸

Question

我使用Spark結構化流處理來自Kafka隊列的大容量數據並執行一些擴展ML計算，但我需要將結果寫入Elasticsearch。

我嘗試使用ForeachWriter，但無法在其中獲取SparkContext，其他選項可能是在ForeachWriter中執行HTTP Post。

現在，我正在考慮編寫自己的ElasticsearchSink。

是否有任何文檔可以創建一個Sink Spark結構流？

Answer 1

你可以看看ForeachSink。它演示瞭如何實現接收器並將數據幀轉換爲RDD（這非常棘手並且有很大的意見）。但是，請注意，Sink API仍然是私有的，並且不成熟，將來可能會更改。