處理HDFS數據的Kafka使用者應該在哪裏運行？

Question

我是Hadoop和Kafka的新手。我爲在桌面Windows機器上運行的Kafka使用者繼承了代碼，接收遠程集羣上可用的新XML數據的HDFS位置，下載數據進行處理，並將結果寫回到HDFS集羣。

在我看來，消費者應在集羣上運行，因爲這其中的數據，但所有樣品卡夫卡消費者的代碼，我看到提示，生產者/消費者對普通臺式機上運行。卡夫卡消費者的典型目標平臺是什麼？

Answer 1

生產者和消費者可以在任何地方運行。您看到的示例暗示了桌面執行，因爲該代碼比在Storm拓撲中運行的代碼簡單得多，並且示例往往過於簡單。桌面環境的唯一原因是應用程序的UI存在。

如果應用程序是無頭的，那麼這確實讓很多道理移動執行儘可能靠近數據（卡夫卡和HDFS）成爲可能。