是否可以將數據從Redshift傳輸到Elasticsearch？

Question

我正在研究與Amazon elasticsearch服務有關的事情。爲此，我需要從Amazon Redshift獲取數據。要傳輸的數據是巨大的，即100 GB。是否有任何方法可以直接從Redshift獲取它或者是否像Redshift-> s3-> elasticsearch這樣的兩步過程？

Answer 1

看起來好像沒有直接的數據傳輸管道將數據從Redshift推送到elasticsearch。一種替代方法是首先在S3中轉儲數據，然後推入elasticsearch。

Answer 2

我看，至少在理論上，從紅移transfering數據2種可能的途徑來Elasticsearch：

1. Logstash，使用JDBC input plugin
2. elasticsearch-jdbc

Answer 3

1. 不要gzip壓縮數據卸載。
2. 使用彈性體積負荷
3. 在體積負荷（> 5000）中使用大量記錄 -​​ 減少大體積 負荷比更小體積更好。
4. 使用AWS彈性搜索時，可能會遇到大容量隊列大小的限制。
5. 在lambda中處理單個文件，然後用事件遞歸調​​用lambda函數
6. 在遞歸之前等待幾秒 - > setTimeout。等待時，確保你沒有閒置30秒，因爲你的lambda會停止。
7. 不要使用s3對象創建來觸發你的lambda - 你最終會以 同時調用多個lambda函數。
8. 不要打擾嘗試把kinesis放在中間 - 將你的數據卸載到kinesis幾乎肯定會打擊kinesis的載荷限制。
9. 監控的東西您的彈性搜索批量隊列的大小像 這樣：

curl https://%ES-SERVER:PORT%/_nodes/stats/thread_pool |jq 
    ‘.nodes |to_entries[].value.thread_pool.bulk’