按負載將AWS Kinesis Firehose數據分區爲s3

我正在使用AWS-Kinesis-Firehose將數據注入S3，並在之後與雅典娜一起使用。按負載將AWS Kinesis Firehose數據分區爲s3

我想分析來自不同遊戲的事件，爲了避免雅典娜探索大量數據我想用每個遊戲的標識符來劃分s3數據，到目前爲止我沒有找到解決方案，因爲Firehose從不同的數據接收數據遊戲。

有誰知道該怎麼做？

謝謝， Javi。

2017-08-01 bracana

最好添加你到目前爲止的代碼 – anyanwu

您可以將您的流量發送到主流水流 - 然後使用lambda功能將數據分割到多個流水流 - 每個遊戲，將保存在一個單獨的文件夾/桶數據

2017-08-01 08:08:31

我想過這個，但是有一個問題，我期望每天有大約2000萬事件，這意味着lambda函數每天將被觸發20M次只是爲了「分類」事件，這將是昂貴的。 – bracana

我發現了cloudWatch事件，可以在一段時間間隔內幫助我，但仍然可能很昂貴 – bracana

Lambda可以通過FireHose作爲批量觸發1000個事件 - 這將顯着減少觸發器 –

你可以可能使用Amazon Kinesis Analytics根據某些邏輯（如遊戲ID）將傳入的Firehose流劃分爲單獨的輸出流。

但是，limits documentation似乎表明，每個應用程序只能有3個輸出目標，所以這是不夠的。

2017-08-01 13:23:46

回答