apache-storm

1熱度

1回答

這裏是我們的物聯網平臺的入站郵件傳遞流程： Device ---(MQTT)---> RabbitMQ Broker ---(AMQP)---> Apache Storm ---> Kafka 我期待實現解決方案，有效地限制/節流數據以每個發佈到卡夫卡每秒量客戶基礎。當前的策略利用Guava的RateLimiter，每個設備都有自己的本地緩存實例。當接收到設備消息時，映射到該deviceId

2熱度

1回答

如何根據消息中的值將元組發送到不同的螺栓

我有一個Storm集羣連接到Kinesis Stream。消息看起來像這樣。 { _c: "a" } ，或者它應該是 { _c: "b" } 我想與_c = 「a」到一個螺栓和_c = 「b」的發送的元組到不同的螺栓。我如何實現這一目標？這是使用GSON @Override public void execute(Tuple tuple) { St

1熱度

1回答

實現不帶接口類型參數的接口

Apache Storm具有帶無類型Map的接口IBasicBolt。 //org.apache.storm.topology.IBasicBolt public interface IBasicBolt extends IComponent { void prepare(Map stormConf, TopologyContext context); ... } 我想

0熱度

2回答

AbstractStringBuilder.ensureCapacityInternal在風暴之錘得到NullPointerException異常

在線系統，風暴博爾特獲得NullPointerException異常，但我認爲我行61前檢查;偶爾會得到NullPointerException; import ***.KeyUtils; import ***.redis.PipelineHelper; import ***.redis.PipelinedCacheClusterClient; import **.redis.R2mClus

0熱度

1回答

卡夫卡噴口錯誤「消費者沒有訂閱任何主題或分配任何分區」

我正在使用Storm版本1.1.0和卡夫卡版本0.10.1.2。我創造卡夫卡壺嘴如下： public KafkaSpout<String, String> getKafkaSpout() { String _kafkaBrokers = (String) props.get("bootstrap.servers"); String _topic = (String) prop

0熱度

1回答

如何知道Kafka-Storm中的重試次數

我知道SpoutConfig有retryLimit來設置消息可以重新處理的次數。關於retryLimit，這是我在SpoutConfig.class找到的消息：指數回退重試設置。這些被 ExponentialBackoffMsgRetryManager用於在螺栓調用OutputCollector.fail（）後重試消息。我想知道是否有任何方法可以知道當我的代碼中的任何給定螺栓處理Tuple

0熱度

1回答

Apache Storm - 無法找到或加載主類org.apache.storm.starter.ExclamationTopology

我對maven和storm真的很陌生，所以我試圖按照https://github.com/apache/storm/tree/master/examples/storm-starter中的說明操作。我目前的路徑是/ home/luc/theTest/storm/examples/storm-starter。目標文件夾內有一個storm-starter-2.0.0-SNAPSHOT.jar文件。運行

0熱度

1回答

風暴拓撲如何處理元組？

描述有關拓撲：噴口不斷地發送元組來讀取螺栓。讀取螺栓過程並將結果發送到下一個螺栓等。的情況： 1噴口發送元組1讀螺栓 2讀螺栓給出元組1寫螺栓 3寫入螺栓給出元組1至R螺栓 4 R螺栓工藝元組1 當元組2從s發送噘？處理完R元組中的元組1後或者readbolt發送元組1後寫入螺栓？

0熱度

1回答

如何在apache風暴中啓動worker

在拓撲提交期間，我的管理員自動關閉了並且worker還沒有啓動。在我的風雨中，主管總結中沒有可用的數據。

1熱度

2回答

STORM：當許多worker同時創建文件時如何命名文件？

對不起我的英文不好。有一個很大的風暴集羣，工作人員總是同時創建一些文件，問題是我不想重複這個文件名。我的老闆讓我用格式'timestamp-random-othername'創建一個文件名，時間戳是自1970-1-1 00:00:00以來的一個數字，隨機數是從00000到99999的五位數。大約有一個數千名工作人員正在運行......並在不同的機器上運行我正在尋找一種使時間戳相同時隨機數不同的