amazon-kinesis

0熱度

1回答

Kinesis - 處理寫入ProvisionedThroughputExceededException

我們將AWS Kinesis用作持久隊列。 Kinesis擁有最多1000次寫入/秒，每個分片總數限制爲1M /秒。我們使用案例的80％低於限制。但是，有一些超過1M/s的峯值。爲這些峯值預留更多寫入容量是不划算的。有什麼建議嗎？讓SDK處理ProvisionedThroughputExceededException重試？將事件寫入臨時位置並刷新一次達到1M？ ...？

1熱度

1回答

室壁運動與λ - 解析數據

我下面這個教程從我的API網關將數據推送到室壁運動流： http://docs.aws.amazon.com/apigateway/latest/developerguide/integrating-api-with-aws-services-kinesis.html#api-gateway-get-and-add-records-to-stream 我有我的身體映射模板設置爲..... {

1熱度

1回答

接收器減少火花蒸汽的方法

對於使用kafka的Spark流式傳輸，我們有Directstream，它是無接收器的方法，並映射kafka分區來激發RDD分區。目前，我們有一個應用程序，我們使用Kafka Direct方法並在RDBMS中維護我們的偏移量，我們有類似的Kinesis嗎？當我閱讀spark-Kinesis集成的文檔時，感覺就像檢查點中存在差異。以下是我的一些問題是否使用kinesis流映射kinesis碎片到

0熱度

1回答

如何將多個kinesis數據流合併爲一個數據流？

我有數據從3個不同的服務器（3個數據流）來英寸是否有可能在kinesis消費者應用程序中合併這些數據（類型爲update/upsert）並獲取更新後的數據作爲輸出？我從流2,3具有的數據是依賴於流1。例如流1（ItemDetails） - {的itemId，ITEMNAME，itemdescription}，流 2（ItemtoCart） - {ItemId}，流3（Itemordered

0熱度

1回答

使用Kinesis SDK訪問DynamoDBStreams流

它可以通過Kinesis SDK訪問由DynamoDBStreams服務定義的流嗎？例如，使用C++，是有可能得到通過添加流信息，說 $ aws dynamodb update-table --stream-specification ... 與 Aws::Kinesis::KinesisClient::DescribeStream() ？（這將意味着「開關」的服務室壁運動目標據我所知

5熱度

1回答

spark java.lang.AbstractMethodError在cloudera上失敗

下面是我的POM文件。我對Cloudera的5.10 星火計劃的火花運行期間寫的火花與AWS流室壁運動 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming_2.10</artifactId> <version>1.6.0</version> </dep

0熱度

1回答

AWS Kinesis Stream返回「ProvisionedThroughputExceededException」時數據是否丟失？

我有一個在AWS中運行的數據遷移作業，它將數據發送到Kinesis Stream和一個Lambda函數，充當將數據寫入DynamoDB的消費者（我將kinesis設置爲觸發器爲lambda）。我的問題是當該室壁運動流開始打：寫吞吐量突破（計數/請求） - 平均 - WriteProvisionedThroughputExceeded ，我看到上圖上尖峯200個或300計數即使lambda消費者

0熱度

1回答

AWS LAMBDA：Java的：室壁運動活動

我有麻煩找的什麼，我試圖做例子...... 我想創建Java中的lambda函數。我認爲我總是使用Javascript來實現Lambda函數，但在這種情況下，我最終會重新使用已經用Java編寫的應用程序邏輯，所以這很有意義。在過去，我已經編寫了由Kinesis事件觸發的JavaScript Lambda函數。超級簡單，函數接收事件作爲參數，做一些事情，瞧。我想用Java來做同樣的事情。很簡單：

0熱度

1回答

Kinesis Firehose客戶端putRecord拋出UnknownOperationException

我從某些源提取我的數據，現在想要將它提供給Kinesis Firehose傳送流。我在amazonKinesisFirehoseClient.putRecord（putRecordRequest）上得到「狀態碼：400;錯誤代碼：UnknownOperationException」。我的代碼 while (data != null) { PutRecordRequest putRec

-1熱度

1回答

在哪裏把我的JDBC驅動程序文件

我試圖按照此鏈接教程：https://github.com/awslabs/amazon-kinesis-connectors 雖然本教程沒有提到的JDBC驅動程序紅移的需要，但它沒有指定放置驅動程序文件。目前，當我運行腳本時，我收到了缺少的JDBC驅動程序文件錯誤。