2016-02-29 49 views
5

我想從實時更新的cassandra表中流式傳輸數據。是的,這是一個數據庫,但有沒有辦法做到這一點?如果是這樣,保留偏移量或可以使用哪些CQL查詢?如何從卡桑德拉表中流出數據?

+0

有沒有人對如何火花卡桑德拉連接器都可以在此使用的一些想法?是否需要關注自身的偏移量,並且是否能夠近乎實時地傳輸數據? –

回答

5

簡短的回答是沒有。

長的答案是有很多困難和聰明的集羣鍵,你可以做到這一點。基本上,如果您插入的數據總是增加一個集羣密鑰,則您總是可以在最近的時間間隔內掃描集羣密鑰。這當然會錯過你的窗口以外的亂序插入。這可能會或可能不會足夠您的用例。

最佳答案在未來變更數據捕獲:https://issues.apache.org/jira/browse/CASSANDRA-8844

+0

也許也觸發器? –

+0

@RussS感謝鏈接的好信息 –

+0

有沒有人有關於如何使用spark-cassandra連接器的一些想法?是否需要關注自身的偏移量,並且是否能夠近乎實時地傳輸數據? –