什麼是s3的典型寫入吞吐量（使用flume 0.9.4）

Question

我在BE模式下運行我的flume（flume 0.9.4-cdh3u4）流程，並且位於不同機器上的agent和collector都是大EC2實例

收集器寫入本地文件系統以及同一區域中的S3存儲桶。

在E2E模式下配置的代理已經過測試，處理速度爲4MB/s，代理的速度也是<。

使用「iftop的」我注意到有通過收集到S3和寫入吞吐量到S3各地40KB/s的徘徊兩個傳出連接 - 50KB/s的

1. 什麼是典型的寫吞吐量s3你看過使用收藏家？

2. 我想知道是否有可能產生更多的這些線程（寫入S3）以最大化實例利用率？

我該怎麼做？

我寧願不產生更多的收集器，如果我能以另一種方式提高寫入吞吐量。

Answer 1

你是否收藏了東西？是否有可能50KB/s是正在生成的所有數據？

您使用的是水槽水槽嗎？滾槽將批量數據上傳到S3。較大的捲尺寸應能提高吞吐量。