我一直在使用木槌推斷包含100,000行(大約34 MB木槌格式)的文本文件的主題。但是現在我需要在包含一百萬行(大約180MB)的文件上運行它,並且得到一個java.lang.outofmemory異常。有沒有辦法將文件分割成更小的文件,併爲所有文件中的數據組合起來構建模型? 由於事先木槌主題建模
Q
木槌主題建模
6
A
回答
1
我不知道馬利特的可擴展性,大數據,但項目http://dragon.ischool.drexel.edu/可以存儲在磁盤備份持續它的數據,因此可以擴展到無限的語料規模(當然是低性能)
1
即使從多個文件中讀取模型,該模型仍然會非常龐大。你有沒有嘗試增加你的Java虛擬機的堆大小?
0
鑑於當前PC的內存大小,應該很容易使用大到2GB的堆。 在考慮使用羣集之前,您應該嘗試單機解決方案。
1
java.lang.outofmemory異常發生的主要原因是堆空間不足。 您可以使用-Xms和-Xmx來設置堆空間,以便它不會再次出現。
6
在斌此行/ mallet.bat增加值:
set MALLET_MEMORY=1G
相關問題
- 1. 木槌主題建模 - 主題鍵輸出參數
- 2. 使用槌子建模的主題
- 3. 木槌下載問題
- 4. 如何使用木槌提取主題關鍵短語
- 5. hLDA的木槌推理器
- 6. typeTopicCounts功能的主題建模實施槌子API
- 7. 木槌構圖文件中的null-sources
- 8. 如何在木槌中使用--use-ngrams
- 9. 示例使用木槌(機器學習語言工程)
- 10. R中的主題建模
- 11. 在槌
- 12. 創建自定義模式爲我的數據集在槌
- 13. 主題建模:LDA,詞頻每個主題和Wordcloud
- 14. 未能創建從Sunburst主題模板化的Plone主題
- 15. 獲取槌球中所有文檔的實例和主題序列
- 16. 使用gensim進行主題建模
- 17. [R主題建模避免create_matrix
- 18. 如何應用主題建模?
- 19. Rails建模問題 - 關係和主鍵
- 20. Drupal模板/主題資源或建議?
- 21. 用於Python中主題建模的LDA
- 22. 使用Word2Vec進行主題建模
- 23. 主題建模中的指令解釋
- 24. MALLET vs NLTK中的主題建模
- 25. 主題/建立自己的模塊
- 26. 在pubsub模擬器上創建主題
- 27. jcall中的R木槌錯誤:java.lang.NoSuchMethodException:給定參數沒有合適的方法
- 28. 將背景圖像添加到木星4 WordPress主題標題
- 29. 創建主題
- 30. 爲Windows主題創建UI主題
它看起來像龍Toolkit是死的,但。自2007年以來沒有任何活動。此外,尚不清楚它使用的是什麼許可證(商業發展是否允許?) – chaostheory 2011-05-18 14:00:38