避免從Cassandra中抽取數據中的重複數據。

Question

背景：我從varius日誌文件和Cassandra表中獲取信息。日誌文件很好，但是從表中讀取給我彈性搜索內的重複項，因爲我無法獲得自sql_last_run以來添加的行。 如何避免重複行？

Answer 1

避免這種情況的一種方法是通過計算原始日誌行的SHA或MD5來創建自己的文檔ID。

即使重複讀取，同樣的日誌行也會一直生成相同的ID，並且不會再有任何重複的文檔。

另一種解決方案是使用唯一GUID在表中創建另一列，並將該值用作文檔ID。