Weka可以處理多少文字？

Question

我有一個情緒分析任務，我需要指定weka可以處理多少數據（在我的案例文本中）。我有一個已經標記了2500個意見的語料庫。我知道這是一個小的語料庫，但我的論文顧問要求我特別論證Weka可以處理多少數據。

Answer 1

您對Weka的限制將取決於您使用的任何學習算法以及可用於培訓的內存量。大多數分類器要求將整個集合加載到內存中進行培訓，但也有用於流式傳輸數據的選項。有關更多信息，請參閱the weka page on big data。

對於與您一樣小的數據集，您不會有任何問題。但是，對於任何大數據問題，您都會遇到無法在單臺機器上編寫腳本的問題。 Weka也不例外，一旦你到達那裏，就有辦法讓它工作。據我所知，在足夠的硬件資源，時間和獨創性的情況下，您可以處理的數據量沒有嚴格的限制。