large-data

0熱度

2回答

我有一個C＃工具，用於解析csv文件的集合以構建列表。這個集合可以被限制爲20個文件，或者可以大到10000個文件。 MyObject它自己有大約20個屬性，其中大部分是字符串。每個文件有時可以在列表中創建多達4個項目，有時多達300個。解析完成後，首先將列表保存到csv文件，以便以後不必再重新分析數據。然後我通過數據集的一個關鍵點彙總數據，然後用戶可以選擇數據集的多個樞軸。數據以WPF呈現，用

3熱度

3回答

將熊貓數據框寫入csv文件塊

我有一組大數據文件（1M行x 20列）。但是，這些數據中只有5列是我感興趣的。我想通過僅創建感興趣的列創建這些文件的副本，我可以讓事情變得更加簡單，因此我可以使用較小的文件進行後期處理。我的計劃是將文件讀入數據框然後寫入csv文件。我一直在研究大塊數據文件讀取到一個數據框。但是，我一直無法找到任何關於如何將數據寫入一個csv文件的塊。這裏是我嘗試了，但是這並不追加csv文件： with

2熱度

1回答

Realm Android和具有多面計算的大型數據集

我正在解析一個Json文件，其中包含很多多面體到Realm。我已經設定，方式如下： RealmMultiPolygon類： public int dangerLevel; public int timeOfDay; public RealmList<RealmPolygon> realmPolygons RealmPolygon類： public RealmList<RealmPolyg

1熱度

2回答

R：合併> 1000 .dat文件

我試圖將英國各地的氣候數據> 30,000個個人.dat文件合併成一個單一的數據文件，我可以然後從中提取年度值。該數據被格式化爲使得在每個文件的第一行包含經緯度長爲單元格，然後下面是測量的氣候變量： 54.78 -7.06 iGrid x y year month SRad Tmin Tmax vp wind rain sunshine 19028 56 139 19

-1熱度

2回答

從SQL服務器過濾並讀取數據集到R

我在SQL服務器中有一個大表，並希望在日期使用WHERE子句導入到R中。 library(RODBC) dbhandle <- odbcDriverConnect('driver={SQL Server};server=mysqlhost;database=mydbname;trusted_connection=true') # Main table query works well re

0熱度

1回答

刪除非唯一值並重新排列矢量

我使用了Sloan Digital Sky Survey（SDSS）數據，並獲得了最終數據產品this文件。第一列是wLength（波長），第二列是flux。將012存儲在zero_F變量zero_F = find(a==0)中，我使用wLength(zero_F)=[];和flux(zero_F)=[];將它們從兩列中刪除。我想繪製wLength與flux，flux依賴於wLength，但wL

6熱度

1回答

通過bigquery-python庫插入大量數據到BigQuery

我有大量的csv文件和excel文件，我在那裏讀取它們並根據它所具有的字段和類型動態創建所需的創建表腳本。然後將數據插入到創建的表中。我已閱讀this，並瞭解我應該用jobs.insert()而不是tabledata.insertAll()來發送大量數據。這就是我所說的（適用於較小文件而不是大文件）。 result = client.push_rows(datasetname,table_na

0熱度

1回答

使用R中的查找表查找/替換或映射

總共R-newbie，在此處。請溫柔。我有一個數據框中的數值表示種族（英國人口普查數據）。 # create example data id = c(1, 2, 3, 4, 5, 6, 7, 8, 9) ethnicode = c(0, 1, 2, 3, 4, 5, 6, 7, 8) df = data.frame(id, ethnicode) 我可以做一個映射（或查找/替換）來創建一

-1熱度

1回答

大行數據庫性能

我有一個需求，我需要在非常大的表中獲取有關特定列的信息。該列中的值不是唯一的，並且重複多次。因此，要獲得獨特的信息，遍歷整個表格將變得非常昂貴。是否有一種設計策略可以節省時間並提高數據庫性能？

3熱度

3回答

快速的方式來總結在一個大圖中的鄰居屬性R

我有一個大型的igraph對象，幾乎1M節點和1.5M的邊緣。經過一段時間的研究，我找不到一個對節點的鄰居屬性求和的過程，在這種情況下，它是一個二進制的屬性。目前，我找到的最佳解決方案如下： V(g)$sum = sapply(ego(g,1,V(g),mode = 'all',mindist = 1), function(v) sum(V(G)[v]$attr)) 但是，在12小時後仍然嘎吱