large-data

0熱度

1回答

我要提取800個000行（它的開發環境，在實際也可能是1，甚至1.5萬行）。所述第二步是插入的東西作爲串行化數據轉換成Redis的高速緩存中。我的問題是：允許的X字節存儲容量被耗盡，但是......最關鍵的是我不能改變它。我看着辦吧，我可以用一部分從MySQL數據庫獲取數據的一部分。但後來第二步是有問題的。到目前爲止，我曾經在Redis中將數據存儲爲字符串類型（序列化PHP數組與MySQL數

0熱度

2回答

如何發送大郵件？

$i = 1; foreach ($recipients as $email => $name) { $mail->ClearAddresses(); $mail->AddBCC($email, $name); if (!$mail->send()) { $send = 0; } else { $send = 1; }

0熱度

1回答

替代大批量數據集neo4j的批量導入器

我想將大數據集導入到neo4j。我創建了一個Python腳本，在讀取.xls文件後將密碼查詢寫入.cql文件，然後使用neo4j-shell運行它們。這適用於小數據集。但是在增加數據集的大小時，我的系統崩潰了。我已經看到一些使用批量導入程序的建議，但它們通常基於Java（例如：Groovy），這是我不習慣使用的。那麼有沒有其他方法可以批量插入或至少是通過Python進行批量插入？

0熱度

1回答

從IDL中的陣列中提取單個列

我正在使用SDSS光譜，我使用mrdfits讀取了適合文件，它說數據存儲在8 columns and 3838 rows這是數據的正確維度。但是，當我使用print spec[0,1]尋找特定列時，它返回一個錯誤out of bound。如果我使用print spec[0*1]它給人的 {11.7020 3.58080 0.0990829 0 0 1.49589 15.6233 10.8985}

0熱度

1回答

平面文件比較工具

Flatfile1.txt HDR06112016FLATFILE TXT CLM12345 ABCDEF.... DTL12345 100A00.... DTL12345 200B00.... CLM54321 ABCDEF.... DTL54321 100C00.... DTL54321 200D00.... Flatfile2.txt HDR06112016FL

0熱度

1回答

存儲大數據python

我是新來的Python。最近，我有一個在xml文件中處理大量健康數據的項目。下面是一個例子：在我的數據，還有他們的大約100和他們每個人都有不同的ID，來源，類型和文字。我想將所有這些數據存儲在數據中，以便我可以訓練這個數據集，我腦海中的第一個想法是使用2D arry（一個存儲id並源自其他存儲文本）。但是，我發現有太多的功能，我想知道哪些功能屬於每個文檔。任何人都可以推薦一個最好的方法來做

0熱度

2回答

RavenDb Ver 3.0 - 在大數據上出現「OutOfMemoryException」消息時出現「查詢失敗」

我們正在RavenDb Ver 3.0之上開發新的應用程序作爲數據存儲。在性能測試中，我們發現系統存在問題。的問題是，當我們運行一個查詢類似下面，把所有的結果，如果總的結果變得比某物更多的（如> 2000文檔，有時甚至更少）「查詢失敗「出現」OutOfMemoryException「消息。 public ICollection<T> Find<T>(Expression<Func<T, bo

5熱度

1回答

MongoDB服務器凍結 - 大量收集

我們有大的MongoDB數據庫（大約1,4mln集合），MongoDB 3.0，引擎rocksDB，操作系統Ubuntu 14.04。該數據庫位於具有16個內核和108 GB RAM的虛擬機（VmWare vCloud）上（當前mongoDB使用70GB內存無交換）。生產設置選項：在專用分區數據 - XFS文件系統啓用transparent_hugepage - 永不 transparen

2熱度

2回答

如何獲得每半小時

我有一個非常大的數據集，看起來像這樣在 Column A Date 2016-02-29 15:59:59.674 2016-02-29 15:59:59.695 2016-02-29 15:59:59.716 2016-02-29 15:59:59.752 2016-02-29 15:59:59.804 2016-02-29 15:59:59.869 2016-02-2

5熱度

4回答

SQL - 從第一行開始刪除具有3.72億行的表