如何安排RPostgreSQL查詢並在R中創建協方差矩陣

我想從不適合創建協方差矩陣的數據框創建協方差矩陣。如何安排RPostgreSQL查詢並在R中創建協方差矩陣

使用RPostgreSQL查詢我有以下類型的數據幀的數據庫後：

pg_id item_id      value date 
1  67808755896     23.5 2016-11-12 
2  223337345      0  2016-11-12 
3  254337000000     1  2016-11-12 
4  34604777037     0  2016-11-12 
5  142223438000     14.3 2016-11-12 
6  170555690000     22  2016-11-12

整個數據幀是000行〜500與大致16 000 ITEM_ID的。 item_id被重複（在這裏回顧幾個月）。

我最終想做的是爲item_id的值創建一個協方差矩陣。

爲了如此，作爲第一步，我要重新安排，我結束了一個數據幀的方式將數據幀，將如下所示：

   item_id 
    date   67808755896 223337345 254337000000 ... 
    2016-11-12 value  value  value 
    2016-11-12 value  value  value    
    2016-11-12 value  value  value   
    2016-11-12 value  value  value  
    2016-11-12 value  value  value   
    2016-11-12 value  value  value

我的問題是，我不知道如何以我需要的方式重新排序數據幀。

如果有一個SQL查詢可以在檢索時給我選項來獲得所需的結構，那麼我想這樣做會是最好的。

在R內，我嘗試了使用融合以及傳播的一些事情，但計算似乎對我的本地mac很重，最後一次我試圖在某個時候關閉它。

在此先感謝您的幫助！

來源

2017-01-05 Elia

在R，這應該蠻快的運行：

library(data.table) 
set.seed(1) 
n_items <- 15996L; n_days <- floor(500000/n_items) 
df <- data.frame(
    item_id = 1:n_items, 
    date = rep(seq(Sys.Date(), Sys.Date()+n_days, by=1), each=n_items) 
) 
df$value <- runif(nrow(df)) 
dim(df) 
# [1] 511872  3 
uniqueN(df$item_id) 
# [1] 15996 
setDT(df) 
system.time(wide <- dcast(df, date~item_id, value.var = "value", fun.aggregate = mean)) 
     # User  System verstrichen 
     # 0.19  0.00  0.20 
wide[1:5, 1:5] 
#   date   1   2   3   4 
# 1: 2017-01-05 0.26550866 0.3721239 0.57285336 0.9082078 
# 2: 2017-01-06 0.09235838 0.3801334 0.03702181 0.5900971 
# 3: 2017-01-07 0.24687042 0.9922133 0.53181526 0.5044988 
# 4: 2017-01-08 0.29523145 0.2263145 0.33291640 0.1165338 
# 5: 2017-01-09 0.83870267 0.3274892 0.95595348 0.3889042

來源

2017-01-05 11:50:36 lukeA

謝謝配合！已經嘗試過其中一個，但沒有想過fun.aggregate = mean。好的，拯救我的一天！ – Elia

「平均值」僅僅是一個例子，它通過建立平均值來總結一個網格單元中的多個數據點。你當然也可以使用'length'（數據點數），'sum'或其他函數...... – lukeA

查找到表（數據幀）

來源

2017-01-05 12:32:44

如何安排RPostgreSQL查詢並在R中創建協方差矩陣

回答

相關問題