kafka-producer-api

0熱度

1回答

如何在kafka中的所有分區中生成火花寫入消息，以便我可以使用directstream並提高流的性能。這裏是我的代碼： - object kafka { def main(args: Array[String]) { val sparkConf = new SparkConf().setAppName("FlightawareSparkApp") sparkConf.set

0熱度

2回答

在生產者/消費者客戶中繞過Zookeeper？

這是earlier discussion的後續問題。我認爲Zookeeper是卡夫卡經紀人或「消息總線」的協調員。我明白爲什麼我們可能希望生產者/消費者客戶端通過Zookeeper進行交易 - 因爲Zookeeper具有內置的容錯功能，以便與哪些Kafka代理進行交易。但是對於新模式 - 即0.10.1+，我們應該總是在生產者/消費者客戶中完全繞過Zookeeper？我們是否通過這樣做放棄了任何優

1熱度

2回答

如何運行用Python編寫的kafka生產者？

我是卡夫卡的新手，但看過一些教程，所以我知道卡夫卡是如何工作的。我試圖運行我用Python編寫的生產者，但是我不知道如何在啓動我的zookeeper服務器和kafka服務器後運行此文件。如果任何人都可以告訴我要在命令提示符下編寫的命令的結構，我將非常感激。謝謝！卡夫卡監製： import json import time from kafka import KafkaProducer f

0熱度

1回答

卡夫卡是緩慢的第一秒

IM與卡夫卡合作生產的消息，和我做了一個這樣的製片人： synchronized (obj) { while (true){ long start = Instant.now().toEpochMilli(); for (int i=0; i< NUM_MSG_SEC ; i++) { PriceStreamingData

1熱度

2回答

Akka Kafka Producersettings：重載的方法值適用於替代方案：

當我將生產者設置放入代碼中時，我一次又一次地遇到問題。當我沒有它時，一切正常。下面給出了它包含所有代碼的文件單個文件，我試圖將一個文件寫入一個kafka流。並得到這個編譯錯誤。 package somePackage import java.nio.file.Paths import akka.Done import akka.actor.{Actor, ActorLogging, Ac

0熱度

2回答

使用kafka-producer-perf-test.sh如何在kafka_2.10-0.8.2.0

bin/kafka-producer-perf-test.sh --messages 1000000 --message-size 1000 --topics kafka_producertest_1replication_1partitions --broker-list mesos006:9092,mesos007:9092,mesos008:9092 --threads 1 --compre

0熱度

1回答

Kafka10 heartbeat.interval.ms屬性

我對屬性heartbeat.interval.ms和poll（）方法感到困惑。我希望，poll（）方法會在調用poll（）方法時發送心跳。假設，heartbeat.interval.ms被配置爲1秒，但poll（）方法需要2秒來完成處理。它會在2秒後或每秒鐘通過後臺線程發送心跳。

0熱度

1回答

如何使用kafka製作者只讀取文件中的新更改

我目前使用的是windows機器，並且能夠通過命令提示符使用Kafka製作者和使用者讀取整個文件。我只需要獲取文件中的最近更改，並需要將其用作Apache flink的輸入。我嘗試使用this link，但由於kafka客戶端jar不匹配問題，我無法使用它。在我當前的方法中，當我每次加載整個文件時調用生產者，我們需要每次運行它以查看文件發生的更改。我想過使用線程和使用java代碼比較文件差異的一

0熱度

2回答

卡夫卡 - 主題＆分區和消費者

只是想正確理解基礎知識。假設我有一個名爲「myTopic」的主題，它有3個分區P0，P1 & P2。這些分區中的每一個都有一個引導器，並且這個主題的數據（消息）分佈在這些分區中。 1.生產者將總是基於代理的負載以循環方式向分區的領導寫入數據。是對的嗎？ 2.生產者如何知道分區的領導者？ 3.閱讀特定主題的消費者應閱讀該主題的所有分區？那是對的嗎？感謝您的幫助。

0熱度

3回答

用java發送消息給一個kafka主題

經過幾個星期的尋找一些信息在這裏和谷歌，我決定在這裏發佈，看看是否有任何人有同樣的問題可以舉起我的手。我有一個在Eclipse Ganymede中使用tomcat與我的本地數據庫連接開發的java應用程序。問題是我想發送一個簡單的消息（「Hello World」）到發佈在公共服務器上的卡夫卡主題。我導入了庫並開發了Kafka函數，但是當我在調試模式下運行時發生了一些情況。編譯時我沒有問題或可見錯