在R中快速加載較大數據的軟件包

在R中通常是將數據加載到RAM中。是否有其加載數據到磁盤而不是RAM在R中快速加載較大數據的軟件包

2012-02-24 jan5

除了Iterator和Dirk的回答，爲了處理大數據，還有sqldf，RMySQL，RSQLite（也在HPC TV中註明）。 – 2012-02-24 14:52:38

退房的bigmemory包，與相關的包一起像bigtabulate，bigalgebra，biganalytics，多的軟件包。還有ff，雖然我不覺得它與bigmemory套件一樣用戶友好。據報道，bigmemory套件的部分動機是難以使用ff。我喜歡它，因爲它只需要對我的代碼進行非常少的更改就可以訪問一個bigmatrix對象：它可以像標準矩陣幾乎完全相同的方式進行操作，所以我的代碼非常可重用。

還有支持通過NetCDF4的HDF5，像RNetCDF和ncdf這樣的軟件包。這是用於高效存儲和訪問大型數據集的流行的多平臺多語言方法。

如果您想要基本內存映射功能，請查看mmap軟件包。

來源

2012-02-24 14:02:31 Iterator

Bigmemory開始只是一個外部指針，指向R之外的RAM中的對象，加上適當的語義。基於文件的內容是爲了迴應ff，但是這並沒有啓動bigmemory。你指向hdf5和netcdf也是很好也是正確的，就像mmap的提示一樣。 – 2012-02-24 14:28:19

是的，ff包可以做到這一點。

你可能想看看Task View on High-Performance Computing瞭解更多詳情。

來源

2012-02-24 14:02:59

在R中快速加載較大數據的軟件包

回答

相關問題