large-data

9熱度

3回答

我有一個非常大的一組數據（約300萬條記錄），需要在每日時間表上合併更新和新記錄。我有一個存儲過程實際上將記錄集分解爲1000個記錄塊，並將MERGE命令與臨時表一起使用，以避免在數據更新時鎖定活動表。問題是它並不完全有幫助。該表仍然「鎖定」，我們使用數據的網站在嘗試訪問數據時收到超時。我甚至試圖把它分成100個記錄塊，甚至嘗試了一個，看它是否有助於在合併這些塊之間暫停。它仍然相當呆滯。我正在尋

0熱度

5回答

的MapReduce雲

除了亞馬遜的MapReduce，做什麼其他的選擇我必須處理大量數據的？

0熱度

1回答

MySQL中的快速數據檢索

我有一張用戶表 - 它包含數百萬行（用戶id是主鍵）。我只想檢索用戶標識及其加入日期。使用SELECT user-id, joining-date FROM users需要很多時間。有沒有一種快速的方法來查詢/檢索該表中的相同數據？

1熱度

2回答

MySQL：大表拆分

我在數據庫中有一個巨大的表，我想將它分成幾個物理部分，維護數據庫方案。例如，表名是TableName並具有2 000 000行。我想該表分爲四個部分，但我想在與表相同的方式工作，所以 select [Column List] from TableName where [Filter] insert into TableName ([Column List]) values([Values]

1熱度

1回答

閱讀一個大的csv數據文件與多行的headerinfo到Matlab

有沒有人有一些建議如何讀取逗號分隔的數據文件到Matlab？簡單的解決方案（如dlmread，fscanf）似乎不起作用，因爲有多行（10行）的標題信息。我有一個解決方案最接近的是： C=textscan(datafile) G=cell2mat(C{1,1}(34:endoffile)}) //34 is the line the data starts V=str2num(G) 這裏的

0熱度

1回答

如何使用boost :: asio發送大對象

美好的一天。我通過網絡使用boost :: asio接收大對象。而且我有一個代碼： for (int i = 1; i <= num_packets; i++) boost::asio::async_read(socket_, boost::asio::buffer(Obj + packet_size * (i - 1), packet_size), boost::bind(...));

3熱度

1回答

存儲/檢索字典的最快方法 - SQL，文本文件...？

我有一個單詞和單詞頻率的文本文件。它非常大 - 理論上我們正在談論數百萬行。我只想從文件中檢索值，並儘可能快速和有效地進行操作（對於Django中的Web應用程序）。我的問題是：什麼是最好的方式來存儲和檢索值？應該將它們導入到SQL中？或保留該文件並使用grep？或者把它們放到JSON字典中？或者以其他方式？非常感謝您的建議！

8熱度

2回答

如何從另一個表更新一個表而不指定列名？

我有兩個具有相同結構和很大數量的字段（約1000）的表。我需要執行2個操作 1）從第二個表中插入所有行到拳頭。例如： INSERT INTO [1607348182] SELECT * FROM _tmp_1607348182; 2）從第二表更新第一表但是對於更新我不能找到適當的更新SQL語法。查詢： Update [1607348182] set [1607348182].* =

0熱度

1回答

聰明的gwt在從數據庫加載大量數據時有性能問題？

我正在使用smartgwt。當我試圖加載我的資源管理器沒有運行&收到錯誤消息"A script on this page is causing Internet Explorer to run slowly. If it continues to run, your computer may become unresponsive. Do you want to abort the script?

4熱度

3回答

如何在R讀取大型數據集

可能重複： Quickly reading very large tables as dataframes in R 嗨，試圖讀取大型數據集R中控制檯顯示的follwing錯誤： data<-read.csv("UserDailyStats.csv", sep=",", header=T, na.strings="-", stringsAsFactors=FALSE) > data = dat