如何檢測數據庫的變化，並自動添加新行elasticsearch指數

Question

我已經做了：

http://lessc0de.github.io/connecting_hbase_to_elasticsearch.html

我也得到：

我通過這個教程連接我的HBase的與elasticsearch索引與hbase表格內容，但在將新行添加到hbase後，它不會自動添加到elasticsearch索引。我試圖將此行添加到我的conf：

"schedule" : "* 1/5 * ? * *"

和映射：

"mappings": { 
     "jdbc" : { 
      "_id" : { 
       "path" : "ID" 
      } 
     } 
} 

其中分配_id = ID，並且ID在我的HBase的表唯一的值。

它運行良好：當我向hbase添加新行時，它會在少於5分鐘內上傳到索引。但它對性能並不好，因爲每5分鐘它就會執行一次查詢，並且不會將舊內容添加到索引中，因爲_id必須是唯一的。這對小數據庫很有用，但我在hbase表中有超過1000萬行，所以我的索引一直在工作。

它是彈性搜索的任何解決方案或插件來自動檢測數據庫中的變化，並只添加新行索引？

curl -XPUT 'localhost:9200/_river/jdbc/_meta' -d '{ 
    "type" : "jdbc", 
    "jdbc" : { 
     "url" : "jdbc:phoenix:localhost", 
     "user" : "", 
     "password" : "", 
     "sql" : "select ID, MESSAGE from test", 
     "schedule" : "* 1/5 * ? * *" 
    } 
}' 

感謝您的幫助：

我使用創建索引。

Answer 1

您正在尋找稱爲「河」插件的東西。有各種各樣的支持各種數據庫甚至物理文件系統。然而，你正在尋找它的那個HBase River Plugin。