apache-storm

0熱度

1回答

處理元組\消息時，Storm和Spark Streaming之間的延遲有什麼區別？

1，基於下面的描述，Storm和Spark Streaming都處理批量或小批量/微批量的消息/元組嗎？ https://storm.apache.org/releases/2.0.0-SNAPSHOT/Trident-tutorial.html 2，如果上述問題的答案是肯定的，這意味着兩種技術在處理消息/元組時都有延遲？如果是這樣的話，爲什麼我經常聽說Storm會比Spark Streaming

0熱度

1回答

Kerberos設置給Storm UI帶來錯誤

我已經爲Apache Storm設置了Active Directory的Kerberos身份驗證。在kerberos安裝完成後，主管和Nimbus守護進程正常運行。論storm.yaml文件中添加以下行： ui.filter: "org.apache.hadoop.security.authentication.server.AuthenticationFilter" ui.filter.p

0熱度

1回答

如果我擁有比消費者更多的分區，我可以丟失信息嗎？

我正在通過使用storm-kafka api從3個副本和70個分區讀取來自kafka主題的郵件，我正在使用的kafka spout有15個執行程序，可能會因爲沒有70個執行程序而丟失郵件？如何確保卡夫卡中的所有消息都是由消費者接收的？謝謝

0熱度

1回答

Filter-Interceptor-Kafka話題

您好，我正在嘗試構建一個分析引擎來確定客戶端正在使用的urls \ events的實時分析以及記錄api的性能。以下是我的規劃，實現邏輯： 1.創建一個過濾器攔截的URL 2.代碼過濾器具有使用MVC攔截器攔截他們邏輯可重複使用的罐子。 3.如果URL模式匹配，攔截器將生成事件並將其發佈到kafka流中。我的困惑是這是實現這一目標的最佳方法。或者是否有其他更好的方法，記住高收入流入apis。

0熱度

1回答

我如何從嵌入架構的Kafka反序列化Avro

我從Kafka主題接收二進制Avro文件，我必須反序列化它們。在Kafka收到的消息中，我可以在每條消息的開始處看到一個架構。我知道不嵌入模式並將其與實際的Avro文件分開是更好的做法，但我無法控制製作人，我無法更改。我的代碼運行在Apache Storm上。首先，我創建一個讀者： mDatumReader = new GenericDatumReader<GenericRecord>();

0熱度

1回答

風暴消息失敗

最近我遇到了一個非常奇怪的問題。風暴集羣有3臺機器。拓撲結構就像這樣，Kafka Spout A - > Bolt B - > Bolt C.我已經在每個螺栓中搜索了所有元組，儘管可能會拋出異常內部螺栓（在螺栓執行方法中，我嘗試捕獲所有異常，最後ack元組）。但是這裏發生了奇怪的事情。我在一臺機器上打印噴口的日誌，在噴口上查找所有元組，但在其他兩臺機器上，幾乎所有的元組都失敗了。 60秒後，元組

1熱度

1回答

連接到HBase時出現NoSuchMethodError異常

嘗試從Scala代碼訪問HBase時出現特殊異常。這裏是故事的長版：我在單機模式下安裝HBase的1.2.6我的機器（Ubuntu的16.04）上。接下來，我想執行以下代碼： import org.apache.hadoop.conf.Configuration import org.apache.hadoop.hbase.client.ConnectionFactory import

-1熱度

1回答

Storm1.1.0 + kafka0.10.2.1：NoSuchMethodError＆ExceptionInInitializerError

我是風暴和卡夫卡的新手。我想運行一個開源項目：github:cestella:streaming_outliers 該項目使用storm0.10.0。但是，我的風暴集羣是storm1.0.3，它不適用於storm0.10.0。所以，我不得不改變風暴的版本和一些相關的軟件包。然後，當我運行這個拓撲時，它會導致以下錯誤。 java.lang.NoSuchMethodError: org.apach

2熱度

1回答

風暴中的背壓

在我們的風暴1.0.2應用程序中，我們正面臨內存異常。調試後，我們看到卡夫卡噴嘴向螺栓發出太多消息。螺栓的運行速度接近4.0。那麼是否有一種方法可以在風暴中啓用背壓，以便根據螺栓中的容量排出噴口。嘗試啓用topology.backpressure.enable爲true，但跑到這個問題https://issues.apache.org/jira/browse/STORM-1949。我們正在使用Ka

2熱度

3回答

物理內存佔用率過高

，當我試圖使用 mvn compile exec:java -Dexec.classpathScope=compile -Dexec.mainClass=my.Topology 錯誤運行在本地模式下，有暴風雨拓撲我得到這個錯誤是 ERROR backtype.storm.util - Async loop died! java.lang.OutOfMemoryError: Physical