Kinesis寫入ElasticSearch和S3

Question

我正在使用AWS Kinesis寫入Elastic Search並以S3作爲備份。所以，這是寫給兩個來源。但是我觀察到一個問題，即它不會推到S3，而是推到彈性搜索。那麼，它是否定期或類似的？任何解釋，如果任何人可以給予讚賞。另外，如果是這樣的話，有什麼方法可以改變它嗎？

Answer 1

我在這裏發現了問題。因此，每個Elastic Search和S3都有配置，用於定義何時寫入它們。檢查緩衝區大小和緩衝時間。

它在AWS的Kinesis常見問題解答中提到： -

問：什麼是緩衝區大小和緩衝的時間間隔？

Amazon Kinesis Firehose將傳入的流式數據緩存到特定大小或一段時間，然後將其傳遞到目標。您可以在創建傳送流時配置緩衝區大小和緩衝區間隔。緩衝區大小以MB爲單位，對於Amazon S3目標爲1MB至128MB，對於Amazon Elasticsearch服務目標，緩衝區大小爲1MB至100MB。緩衝區間隔以秒爲單位，範圍從60秒到900秒。請注意，在數據傳輸到目的地的數據寫入傳輸流的情況下，Firehose動態地提高緩衝區大小以趕上並確保所有數據都傳遞到目標。

來源 - https://aws.amazon.com/kinesis/firehose/faqs/

所以，在我的情況下，設置是不同的，因此，我以書面形式向S3看到的延遲。