當我讀到AWS數據管道時，立即想到了這個想法 - 爲kinesis生成統計信息並創建一個管道工作，它將消耗kinesis中的數據並複製它以每小時紅移一次。一切盡在掌握。如何從Kinesis批量複製數據 - > Redshift
但似乎沒有可以消耗kinesis的管道節點。所以現在我有兩個可能的行動計劃：
我該怎麼辦？是否沒有辦法將Kinesis連接到僅使用AWS服務的紅移，而無需自定義代碼？
現在可以在沒有用戶代碼的情況下通過名爲Kinesis Firehose的新託管服務進行操作。它管理期望的緩衝間隔，臨時上傳到s3，上傳到Redshift，錯誤處理和自動吞吐量管理。
這已經爲您完成了！ 如果您使用的Kinesis連接器庫，還有一個內置的連接器紅移
https://github.com/awslabs/amazon-kinesis-connectors
根據您必須處理連接器可以很容易實現的邏輯。
我正在尋找創建某種機制與沒有用戶代碼，但它似乎目前不可能。我開始認爲這是不可行的，因爲自然界的kinesis - 它只是一個隊列，類固醇apache kafka。我會接受答案，因爲這是唯一可能的答案。謝謝！ – FXGlory 2014-11-22 07:24:18
此自定義連接器是否會每小時從Kinesis執行批量複製 - > Redshift，並將其上傳到AWS？ – 2015-01-25 15:30:00
不知道我理解您的問題，但是如果您使用從Kinesis到Redshift的連接器，那麼是的，所有數據都存儲在AWS Redshift數據倉庫中。 「每小時」部分是可配置的。 – 2015-01-27 05:14:57
您可以使用InstantStack創建和編排完整的管道，以便從Kinesis讀取數據，將其轉換並推送到任何Redshift或S3中。
這看起來正是我當時所期待的。謝謝。 – FXGlory 2016-01-15 07:02:54