2
我目前正在嘗試從網站中抓取數據並從中建立一個大型數據集（並且可能隨時間而增長）。我想知道在處理，保存和加載大型數據集時是否有任何好的做法。用於處理機器學習的大型數據集的設計模式
更具體地說，當我想要保存的數據集太大而不能存儲在RAM中時，應該怎麼做，然後一次寫入磁盤;並且一次寫入一個數據點效率太低？有沒有比編寫一次適度大小的批處理更聰明的方法？
謝謝你的時間！
A
回答
2
當然，使用數據庫。
您應該看看MongoDB或elasticSearch，因爲您存儲的內容似乎是文檔而不是關係數據。
相關問題
- 1. 機器學習數據預處理
- 2. 用於學習字符串模式的機器學習技術
- 3. 將R中的機器學習包應用於大型數據集
- 4. 如何轉換圖像數據集處理機器學習
- 5. 大型機器學習
- 6. python中的機器學習外部數據集學習
- 7. 如何分辨機器學習模型的學習型
- 8. 如何處理用於機器學習分類問題的小型和非平衡數據集
- 9. 醫療機器學習數據集
- 10. 機器學習 - 與大數據集的問題
- 11. 如何處理機器學習算法中的定性數據
- 12. Web數據上的大型機器學習
- 13. 關於金融大數據的機器學習
- 14. 2PB數據的建築機器學習模型
- 15. R機器學習包來處理大量的因素
- 16. 機器學習形狀和類型的機器學習
- 17. 機器學習 - 巨大隻有正面文本數據集
- 18. 線性迴歸機器學習訓練模型與龐大的數據
- 19. 如何設計機器學習功能
- 20. 受過訓練的機器學習模型太大
- 21. 機器學習每批處理新數據
- 22. 機器學習如何處理多維數據？
- 23. 關於機器學習，統計學習算法
- 24. AWS機器學習Retrain模型
- 25. 詳細學習C++設計模式
- 26. 視頻學習的數據庫設計
- 27. 關於學習軟件開發和設計模式的建議
- 28. 用於機器學習的Python導入
- 29. 用於機器學習的外部GPU
- 30. 適用於Android的機器學習庫
不要重新發明輪子，只需使用任何標準數據庫 - MySQL的，Postgress，甲骨文，W/E。讓數據庫引擎擔心[輸入]效率。 – DyZ