最有效的列表data.frame方法？

Question

剛剛和同事談過這件事，我們認爲值得看看SO土地上的人們不得不說什麼。假設我有一個包含N個元素的列表，其中每個元素都是一個長度爲X的向量。現在假設我想將其轉換爲一個data.frame。與R中的大多數事情一樣，使用plyr軟件包，組合do.call和cbind，預先分配DF並填充它等等，可以使用多種方法來剝離諺語貓，如as.dataframe。

提出的問題是當N或X（在我們的例子中是X）變得非常大時發生的情況。當效率（尤其是記憶方面）的本質是否存在時，是否存在一種明顯優於貓皮膚的方法？

Answer 1

由於data.frame已經是一個列表，你知道，每個列表元素是相同的長度（X），速度最快的東西很可能是剛剛更新class和row.names屬性：

set.seed(21) 
n <- 1e6 
x <- list(x=rnorm(n), y=rnorm(n), z=rnorm(n)) 
x <- c(x,x,x,x,x,x) 

system.time(a <- as.data.frame(x)) 
system.time(b <- do.call(data.frame,x)) 
system.time({ 
    d <- x # Skip 'c' so Joris doesn't down-vote me! ;-) 
    class(d) <- "data.frame" 
    rownames(d) <- 1:n 
    names(d) <- make.unique(names(d)) 
}) 

identical(a, b) # TRUE 
identical(b, d) # TRUE 

更新 - 這是2倍〜比創建d快：

system.time({ 
    e <- x 
    attr(e, "row.names") <- c(NA_integer_,n) 
    attr(e, "class") <- "data.frame" 
    attr(e, "names") <- make.names(names(e), unique=TRUE) 
}) 

identical(d, e) # TRUE 

更新2 - 我的有關內存消耗。最近的更新使e的兩個副本。使用attributes函數將其減少爲只有一個副本。

set.seed(21) 
f <- list(x=rnorm(n), y=rnorm(n), z=rnorm(n)) 
f <- c(f,f,f,f,f,f) 
tracemem(f) 
system.time({ # makes 2 copies 
    attr(f, "row.names") <- c(NA_integer_,n) 
    attr(f, "class") <- "data.frame" 
    attr(f, "names") <- make.names(names(f), unique=TRUE) 
}) 

set.seed(21) 
g <- list(x=rnorm(n), y=rnorm(n), z=rnorm(n)) 
g <- c(g,g,g,g,g,g) 
tracemem(g) 
system.time({ # only makes 1 copy 
    attributes(g) <- list(row.names=c(NA_integer_,n), 
    class="data.frame", names=make.names(names(g), unique=TRUE)) 
}) 

identical(f,g) # TRUE 

Answer 2

這似乎需要data.table建議，因爲需要大型數據集的效率。值得注意的是setattr套通過參考，並不複製

library(data.table) 
set.seed(21) 
n <- 1e6 
h <- list(x=rnorm(n), y=rnorm(n), z=rnorm(n)) 
h <- c(h,h,h,h,h,h) 
tracemem(h) 

system.time({h <- as.data.table(h) 
      setattr(h, 'names', make.names(names(h), unique=T))}) 

as.data.table，但確實讓副本。

---

編輯 - 不可複印版本

使用@ MatthewDowle的建議setattr(h,'class','data.frame')將參照轉換爲data.frame（無份）

set.seed(21) 
n <- 1e6 
i <- list(x=rnorm(n), y=rnorm(n), z=rnorm(n)) 
i <- c(i,i,i,i,i,i) 
tracemem(i) 

system.time({ 
    setattr(i, 'class', 'data.frame') 
    setattr(i, "row.names", c(NA_integer_,n)) 

    setattr(i, "names", make.names(names(i), unique=TRUE)) 

})