2016-06-09 130 views
1

我想卡夫卡添加新的存儲,這裏是我已經做了:卡夫卡,新的存儲

  1. 添加,準備和安裝存儲在Linux操作系統下
  2. 卡夫卡代理添加新的存儲: log.dirs:/ DATA0 /卡夫卡日誌/ DATA1 /卡夫卡日誌
  3. 重啓卡夫卡經紀人
  4. 下/ DATA1 /卡夫卡日誌新目錄已創建,但大小爲:

杜-csh/DATA1 /卡夫卡日誌/ 156K/DATA1 /卡夫卡日誌/

而且只有老/ DATA0使用了尺寸並沒有增長。

我失蹤了什麼?我應該多做些什麼來解決這個問題?存儲空間已滿,並且/ data1仍未使用。

回答

1

當您爲Kafka添加新的數據存儲路徑時,舊數據不會自動在此光盤上重新平衡。新存儲將在您使用時使用,例如,創建新主題或增加現有分區的數量。

在這種情況下,如果您需要將某些數據移動到新磁盤上,則需要使用手動數據重新平衡。有關更多詳細信息,請參閱:https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools

在您的情況下,爲防止磁盤空間完全耗盡,您可以在一段時間內減少主題(retention.ms)的壽命,否則代理將會下降。

1

我只能猜測 - 但對我來說,這聽起來像你沒有創建一個新的話題或增加當前話題的分區數量。 Kafka不會將現有分區移動到新的log.dir中。據卡夫卡文檔:

...創建的每個新分區將被放置在當前具有最少分區的目錄 。 - https://kafka.apache.org/08/configuration.html