爲開發人員/集成測試環境設置Apache Kafka

Question

我正在尋找關於如何在開發人員&集成測試環境中設置和運行Apache Kafka的建議和指針。

我想避免在每個開發人員的機器上手動下載和設置整個軟件包，並且找到一種在集成測試時自動啓動節點的簡單方法。

是否有某種嵌入式Kafka用於開發/集成測試目的（想想爲避免成熟RDBMS的Java開發人員考慮H2並行）？

我必須訴諸某種流浪者解決方案嗎？順便說一下，我發現了以下有趣的Gist：https://gist.github.com/svanellewee/8d978db827a860186569，但它需要設置Vagrant + VirtualBox ...

Answer 1

是否有某種嵌入式卡夫卡的用於開發/集成測試的目的

卡夫卡實際上包括測試設備，讓您運行嵌入式卡夫卡集羣。

更新2017年3月13日：您可以通過添加相關的行家文物到您的構建：

<dependency> 
    <groupId>org.apache.kafka</groupId> 
    <artifactId>kafka-streams</artifactId> 
    <!-- Replace with desired Kafka version. --> 
    <version>0.10.2.0</version> 
    <classifier>test</classifier> 
    <scope>test</scope> 
</dependency> 

請注意，雖然，截至2017年3月，卡夫卡項目還沒有確定的「合同」上面的測試設施。例如，不保證未來版本的測試設施將與舊版本向後兼容。

下面的指針將會很有幫助編寫測試：

• https://github.com/confluentinc/examples - kafka-streams子文件夾，包括旋轉起來嵌入式卡夫卡集羣，以及，在某些情況下，許多終端到終端的集成測試， Confluent schema registry。這些應該是您自己測試的一個很好的起點。
• https://github.com/apache/kafka/tree/trunk/streams/src/test/java/org/apache/kafka/streams/integration/utils - 類似的試驗設施，在以前的鏈接，但很少包含例子

我想避免手動下載和安裝全包上的每個開發者的機器和還可以找到一種簡單的方法來在進行集成測試時自動啓動節點。

以上可能是最簡單的，如果您的需求被覆蓋，因爲它融合到一個現有的開發/測試過程與工具，如maven，gradle或sbt。

但是，如果您需要執行更先進的測試 - 如有意拿下卡夫卡經紀人中途來驗證您的應用程序生存局部中斷，例如 - 你可能想看一看：

• https://github.com/apache/kafka/tree/trunk/tests（系統測試和集成測試，使用如搬運工）
• https://github.com/apache/kafka/tree/trunk/vagrant
• https://github.com/confluentinc/ducktape

Answer 2

我覺得KafkaUnit是最接近H2的東西。你可以在這裏找到它（https://github.com/chbatey/kafka-unit）。 或者只是通過

<dependency> <groupId>info.batey.kafka</groupId> <artifactId>kafka-unit</artifactId> <version>0.6</version> </dependency>

工程使用單位/集成的測試都在同一個JVM，類似於收藏家Testingserver。