amazon-kinesis

0熱度

1回答

我們可以從單個Kinesis Firehose有多個目的地嗎？我看到這張圖片由此看來，它似乎可以從單一射流中添加s3，redshift和elastic搜索。我完全想要這樣做。但是，當我從aws控制檯執行它時，它只要求單個目的地。對於彈性搜索，它也要求S3。所以，我可以添加彈性搜索和s3，但仍然是redhift。我不知道如何從相同的kinesis做到這一點。請幫忙。

1熱度

1回答

將數據從Amazon Aurora同步到Redshift

我正嘗試在AWS Aurora和Redshift之間建立同步。實現此同步的最佳方式是什麼？可能的方式來同步可以是： - 查詢表，在表中查找（因爲我只是在做插入，更新並不重要）的變化，這些變化在導出到一個平面文件S3存儲桶並使用Redshift複製命令插入Redshift。使用和Boto3將更改發佈到Kinesis流中，然後在Firehose中使用此流，從那裏我可以直接複製到Redshift

1熱度

3回答

AWS Kinesis Firehose和Streams在處理時間上有任何不同嗎？

通過閱讀兩種產品（Firehose和Streams）的文檔，聽起來Firehose實時「接近」，在產生消息和發佈消息之間可能會有60秒的延遲，而Streams文檔沒有提到這種潛力延遲。有沒有人有任何關於消息傳遞時間差異的現實洞察？ [註釋] 鏈接到Firehose FAQ提的延遲，根據緩衝器大小爲S3事件。

1熱度

1回答

Redshift性能：SQL查詢與表格規範化

我正在通過偵聽來自不同來源的事件並將該數據抽入紅移羣集來構建紅移數據庫。想法是使用Kinesis firehose使用COPY命令將數據泵入紅移。但我有一個兩難的位置：我想先查詢使用select查詢從紅移的一些信息，比如下面的一個： select A, B, C from redshift__table where D='x' and E = 'y'; 正從紅移必需的信息之後，我將這些信息結

0熱度

1回答

爲什麼我在使用Lambda時需要更少的Kinesis？

我正在使用AWS Lambda從Kinesis中使用。我的Lambda函數對最大併發沒有任何要求。是否有任何理由讓我的流沒有最大數量的碎片？我看不到這些碎片會影響成本。

0熱度

1回答

Kinesis寫入ElasticSearch和S3

我正在使用AWS Kinesis寫入Elastic Search並以S3作爲備份。所以，這是寫給兩個來源。但是我觀察到一個問題，即它不會推到S3，而是推到彈性搜索。那麼，它是否定期或類似的？任何解釋，如果任何人可以給予讚賞。另外，如果是這樣的話，有什麼方法可以改變它嗎？

0熱度

2回答

使用lambda函數將數據發送到kinesis流（在不同的AWS賬戶中）

我有一個寫入kinesis流的lambda函數。但現在，我想寫入屬於不同AWS賬戶的kinesis流。假設我擁有所有必需的跨賬戶權限，如何將數據發送到此流？當我調用kinesis構造函數或putRecord函數時，應如何更改參數？

1熱度

1回答

的Kinesis代理不解析文件

當我指定的文件添加到文件夾中的agent.json { "cloudwatch.emitMetrics": true, "kinesis.endpoint": "", "firehose.endpoint": "", "flows": [ { "filePattern": "/home/ec2-user/ETLdata/contract

0熱度

1回答

是否有可能在連接到API網關的Lambda上使用AWS KPL

我正嘗試在AWS服務之上構建數據收集管道。下面給出整體架構; 總結系統應該從API網關（1）（每個事件的一個請求）獲取事件並將數據寫入Kinesis（2）。我期待〜每秒100k事件。我的問題與Lambda函數的KPL使用有關。在第2步中，我計劃用KPL編寫一個Lambda方法在Kinesis上以高吞吐量寫入事件。但是我不確定這是可能的，因爲API網關分別爲每個事件調用lambda函數。在這樣的

2熱度

1回答

如何在RabbitMQ中實現循環法主題交換

我知道在主題交換中實現循環法行爲可能會非常棘手或根本無法實現，所以我的問題實際上是，如果我能從RabbitMQ中做出任何事情或者望向其他消息隊列支持。這裏是我的應用需求進行詳細的解釋：將有一個製片人，我們稱之爲P 有（可能）將是成千上萬的消費者，我們姑且稱之爲Cn 每消費者可以「訂閱」1個或多個話題交換並且多個消費者可以訂閱同一主題發佈到該話題中的每個消息應該僅被一個消費者消費使用案例＃1