我可以在哪裏導出AWS Cloudwatch Logs（Loggly）？

Question

我知道他們將它們存儲在某個地方。也許是DynamoDB或S3存儲桶？

我想使用的CloudWatch爲我的EC2實例日誌存檔，並進行設置，使它們傳遞給Loggly查看/排序/等

我知道最近Loggly發佈辦法從S3桶抓取日誌（https://www.loggly.com/docs/s3-logs/），但我似乎無法在AWS端找到這些日誌的來源。

我的想法至今都：

• 也許我可以成立一個公制/鬧鐘傳遞所有傳入日誌Loggly？
• 我可以訪問AWS存儲這些Cloudwatch日誌的位置嗎？
• 設置cron某處，將Cloudwatch日誌彈出到S3存儲桶，然後從那裏開始？
• 在cron使用CloudWatch的API調用，直接搶日誌，將它們發送到Loggly通過一個HTTP POST等

Answer 1

這個API可以讓你將數據導出到S3，但是請注意，這是對歷史數據並非實時數據...高達舊將不提供出口，所以最有用的日常提取了幾個小時： http://docs.aws.amazon.com/AmazonCloudWatch/latest/DeveloperGuide/S3Export.html

對於實時傳遞你想使用訂閱API： http://docs.aws.amazon.com/AmazonCloudWatch/latest/DeveloperGuide/Subscriptions.html

Answer 2

看來，Loggly不支持類似的服務。

根據Loggly Log File Monitoring Options你有這些選擇：

1. 選項

   • 安裝新實例的cronjob從S3同步記錄到本地磁盤。
   • 設置rsyslog服務並將此日誌文件發送到Loggly。

2. 選項

   • 使用Loggly File Upload如何和推日誌，捲曲POST文件。

   捲曲-X POST -T FILE.TXT https://logs-01.loggly.com/bulk/TOKEN/tag/file_upload

問候。

Answer 3

我已經通過建立認購，觸發lambda函數的日誌組做到了這一點。該函數轉換日誌數據並將其作爲.log文件寫入S3，或將記錄發送到Kinesis Firehose進行收集，然後將其作爲歸檔文件發送到S3。

如果您嘗試做類似的事情，您可以結帳full writeup或只是Lambda Function。