字段分組可以在卡夫卡噴口發出的元組上完成嗎?如果是的話,那麼Storm如何知道卡夫卡記錄中的字段?卡夫卡噴口的字段分組
3
A
回答
1
Kafka Spout聲明其輸出字段與任何其他組件一樣。我的解釋是基於KafkaSpout的當前implementation。
在KafkaSpout.java類中,我們看到了調用KafkaConfig方案的getOutputFields()方法的declareOutputFields方法。
@Override
public void declareOutputFields(OutputFieldsDeclarer declarer) {
declarer.declare(_spoutConfig.scheme.getOutputFields());
}
默認情況下,KafkaConfig使用RawMultiScheme實現這樣此方法。
@Override
public Fields getOutputFields() {
return new Fields("bytes");
}
那麼這是什麼意思?如果你宣佈螺栓從KafkaSpout與fieldGrouping你知道包含每一個元組等於現場讀取元組「字節」是要由同一個任務來執行。如果你想發射任何領域,你應該實現你的需求的新計劃。
2
Storm中的字段分組(一般來說)用於螺栓,不適用於噴口。這是通過InputDeclarer
課程完成的。
當您致電setBolt()
TopologyBuilder
時,返回InputDeclarer
。
相關問題
- 1. 卡夫卡噴口集成
- 2. 監測卡夫卡噴口
- 3. 卡夫卡噴嘴性能不佳
- 4. 比較不透明或交易卡夫卡噴口
- 5. 如何解決風暴卡夫卡噴口只消費卡夫卡的一半數據?
- 6. Apache Storm:支持卡夫卡噴嘴中的主題通配符
- 7. 春季卡夫卡分區
- 8. 卡夫卡組清理
- 9. 卡夫卡:如何在卡夫卡實現循環分區
- 10. 卡夫卡噴口錯誤「消費者沒有訂閱任何主題或分配任何分區」
- 11. 卡夫卡
- 12. UnknownCodecException卡夫卡
- 13. 卡夫卡與斯卡拉
- 14. 卡夫卡的retention.ms沒有被卡夫卡0.10.2強制執行?
- 15. 卡夫卡多分區訂購
- 16. 計算卡夫卡主題分區
- 17. 卡夫卡流:多主題分區
- 18. 卡夫卡消費羣體和分區
- 19. 卡夫卡:分銷過程和存儲
- 20. 卡夫卡主題分區火花流
- 21. 阿帕奇卡夫卡 - 分區
- 22. 卡夫卡字數未更新計數
- 23. 卡夫卡,新的存儲
- 24. 卡夫卡領導人選舉造成卡夫卡流崩潰
- 25. 如何從卡夫卡用卡夫卡流通過間隔
- 26. 卡夫卡連接或卡夫卡客戶
- 27. 卡夫卡流和卡夫卡表一對多關係加入
- 28. 春季卡夫卡表現vs本地卡夫卡api
- 29. 轉換火花卡夫卡InputDStream到數組[字節]
- 30. (卡夫卡)噴口風暴返回的東西清單,不能傳播此列表螺栓
我的不好,我的意思是它的螺栓。 這就是我有一個卡夫卡鯨魚噴嘴,它會發射元組到隨後的螺栓。現在對於包含在風暴分佈中的卡夫卡壺嘴,我必須首先知道它發出的田野。這些字段id是否與kafka發佈者發佈的相同? – Nitin 2014-09-28 07:05:36