2013-03-13 47 views
1

我從很多人那裏聽說R是爲處理PB級數據而構建的;然而,另一方面,我也經常聽說,如果你想處理例如8GB的數據,你最好至少有8GB的內存,否則你會遇到一些問題。R是一種資源匱乏的語言嗎?

我的問題是如果我需要處理像20 GB的數據(我認爲這在很多項目中相當常見),需要多少MemoryProcessor?如果你有任何以前的經驗,我很樂意知道它應該如何爲2 PB數據。

+1

我認爲你無法一次處理任何語言的2 PB數據。 Paraller解決方案或處理較小的部件是必需的。另請檢查:http://stat.ethz.ch/R-manual/R-devel/library/base/html/Memory-limits.html – 2013-03-13 06:21:36

+0

@ Hemmo謝謝,順便說一下,我認爲你可以將它作爲答案發布好。 :) – Mahdi 2013-03-13 06:29:53

+4

不,如果你知道你在做什麼。與R的新[MonetDB.R軟件包](http://cran.r-project.org/web/packages/MonetDB.R/),一臺蹩腳的舊筆記本電腦和1GB的RAM將超越一個快速的SAS服務器。 – 2013-03-13 06:47:35

回答

5

我認爲你不能同時用任何語言處理2PB的數據(也許你可以使用一些特定的軟件和/或硬件)。 Paraller解決方案或小塊處理始終需要。在R中,對象被存儲在虛擬內存中,因此R中同時有多少數據可以明確限制。檢查Memory Limits in R