1
我的問題將是一個親/一個。我希望將數據從Amazon S3傳遞到Elasticsearch，並考慮兩種選擇：通過Logstash或通過Lambda進行通道傳輸。哪一個會是更快/更容易/更有彈性的解決方案，爲什麼？有沒有人有任何經驗？Amazon Web Services - S3 - Logstash或Lambda將數據導入Elasticsearch？
謝謝！
A
回答
2
聲明：我的經驗僅限於Logstash。
使用logstash，您必須使用logstash安裝和配置來處理服務器。但是你不必編寫任何代碼，並且你有插件準備好處理連接。
如果您沒有修改數據，則配置非常簡單。如果你有修改Logstash有不同的插件來做不同的操作。
Logstash documentation
從我瞭解AWS-LAMBDA，你會不會來管理服務器和應用程序，但你必須寫所有的代碼，包括連接到S3和Elasticsearch。
1
到目前爲止，AWS不支持自定義logstash服務模塊。所以就像你說的，我們有兩種方式：
logstash 優點： 你可以利用的所有logstash功能和過濾器日誌航運 利弊 流行的標準工具： 您需要設置和EC2機運行logstash代理。
Lambda函數 優點： 不需要服務器設置，我也相信沒有額外的成本。 缺點： 你需要編寫的代碼從S3讀取和寫入ElasticSearch
我也碰到過這樣的拉姆達函數，它這個標準運費。 https://github.com/arithmetric/lambda-stash
看起來很有希望，但似乎不支持logstash過濾器
相關問題
- 1. 將Amazon S3文件導入數據庫
- 2. 使用logstash流數據到amazon elasticsearch？
- 3. 將JSON文件導入Logstash + Elasticsearch + Kibana
- 4. Amazon Web Services的問題
- 5. 如何將PHP圖像資源放入Amazon Web Services？
- 6. Logstash Elasticsearch輸入流式數據插件
- 7. Logstash不寫入Elasticsearch
- 8. 在Amazon Web Services上擴展SQL Server
- 9. logstash數據導入狀態
- 10. Logstash SQL Server數據導入
- 11. 從mysql導入數據到elasticsearch使用logstash
- 12. Amazon Web Services Route 53/S3無法指向我的註冊域名
- 13. Amazon Web Services的CLI錯誤
- 14. 如何使用Logstash或curl將數據提供給ElasticSearch？
- 15. 將數據插入elasticsearch使用logstash和kibana
- 16. Logstash不將數據從外部文件寫入elasticsearch
- 17. 將舊數據從postgres導入elasticsearch
- 18. 將數據從Marklogic複製到Amazon S3
- 19. 如何保持數據一致？ （Amazon S3和ElasticSearch）
- 20. 將Greenplum數據庫導出到Amazon S3作爲.csv
- 21. ElasticSearch從mysql導入數據
- 22. 如何使用logstash將壓縮的json導入elasticsearch？
- 23. AWS Lambda函數寫入S3
- 24. Amazon S3 + Lambda + DynamoDB網站託管
- 25. AWS Lambda無法刪除Amazon S3對象
- 26. Azure Media Services將編碼文件傳輸到Amazon S3
- 27. 在Amazon Web Services上部署Symfony2
- 28. Amazon Web Services上的訪問權限'EC2
- 29. 使用Lambda將Cloudwatch Logs導出到S3
- 30. Amazon S3/EC2 - PHP＆MySQL？
你肯定拉姆達標籤？它比lambda亞馬遜服務更適合編程語言中的lambda – baudsp
好吧，它叫做Lambda，雖然我理解了這種混淆。 –
在編程語言中，lambda標籤是關於lambda的。所以你問題中的lambda標籤是誤導性的。並且有一個標籤[aws-lambda]（http://stackoverflow.com/questions/tagged/aws-lambda） – baudsp