amazon-kinesis

1熱度

1回答

對於我近期實時處理大量數據的項目，我有一個架構困境。因此，這裏是目前的架構圖：這裏是我的想法的解釋，這使我那張照片：當API網關接收它把數據流中的請求（這是因爲我的應用 - 「射後不理的性質）That's how I came up to that conclusion，輸入數據在此基礎上保證了我正確的順序一個特定的請求屬性碎片分離。然後，我有哪管它一個lambda用於驗證輸入和異常檢測，這

0熱度

1回答

在java程序中獲取錯誤寫入Kinesis Firehose流

我試圖從API（谷歌股票/金融API）將一些數據寫入我的AWS Firehose流。我已經在Eclipse上下載並安裝了AWS插件，在AWS上設置了我的Firehose流，並且似乎所有內容都已正確安裝。但是，我遇到了一些問題。下面的代碼似乎不推薦使用...我嘗試了不同的版本，但是我似乎無法獲得正確的代碼。 AmazonKinesisFirehoseClient firehoseClient = n

0熱度

1回答

KCL消費者缺失記錄

我注意到有一些記錄存在於kinesis流中，但它們尚未被KCL消費者應用程序接收。這可能發生的原因是什麼？之前和之後的記錄都很好。所有異常都在我的應用程序中使用，並且不會被KCL收到。所以http://docs.aws.amazon.com/streams/latest/dev/troubleshooting-consumers.html#w1ab1c11c11c15b9的情況也沒有發生。一些

0熱度

1回答

如何讓CloudFormation尊重Kinesis同時創建流的限制

我有一個包含多個Kinesis流的CloudFormation堆棧。如果在創建或更新期間流數小於5，則沒有問題。如果我有超過5個錯誤發生，整個堆棧被回滾。該問題由模板中的流添加到配置文件中動態添加，因此順序不確定。有沒有辦法使用等待條件來說一次只能做5個這些？即使這我覺得會是一個問題，因爲我不知道正在被刪除的流。或者有沒有辦法讓CloudFormation退出創建嘗試，等待並在整個堆棧上再次

2熱度

1回答

Kinesis流/碎片 - 多個消費者

我已經閱讀了關於kinesis碎片和多個消費者的一些問題，但我仍然不明白它是如何工作的。我的用例：我有一個只有一個碎片的kinesis流。我想要使用不同的lambda函數使用這個碎片，每個函數都是獨立的。就像每個lambda函數都有自己的分片迭代器。可能嗎？從同一個流/碎片中設置多個lambda消費者（基於流）讀取？

-1熱度

3回答

我們可以編寫AWS Lambda函數來查詢Kinesis Streams

我有Amazon Kinesis Streams，它具有所有的點擊流數據，我們希望編寫一個API來查詢Kinesis Streams。我的計劃是創建一個API網關，它調用AWS Lambda函數來查詢Kinesis Streams並將其返回。是否可以使用Lambda查詢Kinesis Streams，還是應該使用Kinesis Analytics和Lambda？

2熱度

1回答

如何在Spark流應用程序中處理DynamoDB流

我想從Spark Streaming應用程序中使用DynamoDB流。 Spark流使用KCL從Kinesis讀取。有一個lib讓KCL能夠從DynamoDB流中讀取：dynamodb-streams-kinesis-adapter。但是有可能將這個lib插入spark？任何人都這樣做？我正在使用Spark 2.1.0。我的備份計劃是讓另一個應用程序從DynamoDB流中讀取Kinesis流

1熱度

1回答

「<domain>」在以下示例HTTP POST中引用了什麼？

「< domain>」在以下示例HTTP POST中引用了什麼？當然，主機不應該字面上是「kinesis。< region>。< domain>」，但文章沒有提及區域和域是什麼具體。請爲實際的「主機：」行提供幾個字面示例。 POST/HTTP/1.1 Host: kinesis.<region>.<domain> Content-Length: Us

0熱度

2回答

NoClassDefFoundError在hadoop上使用aws-kinesis的joda DateTimeFormat cloudera

我在hadoop（CDH 5.5.1）上運行aws kinesis時出現了一個奇怪的錯誤。我可以重現錯誤這個簡單的類： import com.amazonaws.auth.AWSCredentials; import com.amazonaws.auth.BasicAWSCredentials; import com.amazonaws.services.kinesis.AmazonKine

0熱度

1回答

API網關CORS HTTP 415

好吧，我已經遍佈這些互聯網尋找我的問題的一些見解;我可能已經通過超過80堆棧溢出線程RE api網關等，但他們似乎沒有幫助或說話足夠接近我的問題。我新的API網關和CORS，還是讓我們看看我是否能表達一些我看到的問題：一個API網關代理設置到室壁運動流水滋潤紅移數據庫。代理，流水，和紅移網關啓動並在隔離調用時的工作，但是從我們的客戶的一個網站調用時，我們得到了一個錯誤如下： XMLHttpRe