large-data-volumes

    2熱度

    1回答

    MySQL - 每天處理200M +記錄

    我有一個MySQL表，每天需要存儲大約2億條記錄。數據來自平面文件，我將使用「LOAD DATA INFILE」批量上傳。大多數數據元素都是ID，所以文本不多。一天中包含200M記錄的平面文件大約爲27GB。 我的問題是我應該將所有這些信息存儲在一張表中，還是應該將每天的數據分割成單獨的表格。分裂信息肯定會使分析變得更加困難，但我不確定MySQL能夠在一張表中處理60億條記錄，這將會在一個月內積累
    mysql myisam large-data-volumes 2013-11-01

    0熱度

    1回答

    網絡上顯示的大表上的統計數字

    我們有一個大型的數據表，其中每天約有300000000行，目前每天增長100000行，這個數字會隨着時間的推移而增加。 今天我們產生直接從數據庫（MS-SQL 2012）不同的報告，並做大量的計算。 問題是這需要時間。我們有索引等，但今天的人們需要非常快速的報告。 我們也希望能夠改變timeperiods，不同的方式來看待數據等。 我們只需要看看這是一日齡，所以我們可以從昨天把所有的數據，並用它做
    asp.net report sql-server-2012 large-data-volumes 2013-11-01

    0熱度

    1回答

    更新大量的記錄

    我有一個表有超過10萬個記錄，我必須從我從其他幾個表中獲得的數據更新這個表的多個列，這些表中有大量的記錄。所有的表都被編入索引 我嘗試了批量處理和併發會話更新，但它花費很長時間。這個問題有沒有其他方法？
    plsql sql-update multiple-columns records large-data-volumes 2014-04-01

    0熱度

    1回答

    矩陣計算在matlab中每次迭代後變得更慢

    我有一個1024 * 1024 * 51的矩陣。我將進行計算以改變for循環內矩陣的某個值（更改每次迭代的矩陣值）。我發現計算速度變得越來越慢，最後我的計算機陷入困境。但矩陣的大小並沒有改變。任何人都可以解釋這個問題？ function ActiveContours3D(method,grad,im,mu,nu,lambda1,lambda2,TimeSteps) epsilon = 10e-1
    matlab matrix large-data-volumes 2014-02-13

    0熱度

    1回答

    MySql搜索效率

    因此，我想從我們擁有的大約34000條記錄中獲取一些地理數據。 我們存儲了Person的記錄，其中包含姓氏，姓氏，地址和郵編等基本信息。 我想獲取有關郵編的信息，並將其與他們的Longitue和Latitude座標聯繫起來。 爲此，我還有一張澳大利亞郵政編碼表，以及他們的長/寬和絃。 SELECT count(p.postcode) AS `count`, p.postcode, pctlt.La
    mysql count inner-join large-data-volumes 2014-02-21

    0熱度

    1回答

    Lustre：向不同的OST發送不同的寫入請求

    我有一個典型的場景，其中可以並行寫入請求，每個文件的大小爲幾百GB。 我的Lustre文件系統有4個OST（每個3TB），1個MDS（它是一個測試系統） 我實際上觀察到的情況是，如果禁用了條帶，光澤會將所有文件寫入單個OST，除非它已滿。 是否可以配置光澤，以便在出現並行或重疊寫請求時，MDS自動選擇當前不忙的目標？ 我很感興趣，爲什麼光澤不是默認這樣做，或者也許是因爲我錯過了某些東西？
    filesystems large-data-volumes glusterfs large-data bigdata 2013-06-26

    0熱度

    2回答

    Large 3D volume bad_alloc

    我正在開發一個應用程序，該應用程序使用boost multi_array動態分配以創建一個3D點雲，以創建一個3D Voronoi圖，以存儲整個圖表。 一個我使用的測試用例需要大量的存儲器（圍繞[600] [600] [600]），其超過了極限允許和在bad_alloc的結果。 我已經嘗試過在小塊圖分離，而且它不工作，因爲它似乎總內存已超過極限。 我的問題是，我怎麼能與下PC的限制，例如大型3D體
    memory-management 3d large-data-volumes voronoi boost-multi-array 2014-03-03

    1熱度

    1回答

    基於此描述的senario詢問數據庫表設計的建議

    這可能是一個奇怪的情況，但它只是浮現在我的腦海裏... 想象一下，我有一個每天需要100萬新行的數據庫表。表中有3列：id，值，日期。 我想要做的行是根據日期加載所有行。 這裏涉及到一個問題： 對於這個表，我用它的方式的性質（我只需要抓住某一天行的名單），在性能方面，它創建一個新表具有相同的結構，但在日常的基礎上命名爲日期（即，創建名稱分別爲01Jan2014,02Jan2014，...的表格，每
    database-design relational-database database-performance sharding large-data-volumes 2014-01-15

    0熱度

    2回答

    在DynamoDB中搜索大量數據

    我有一個用例，其中我的數據存儲在DynamoDB中，hashkey作爲UniqueID和範圍鍵作爲Date存儲。 Amazon（S3）的簡單存儲服務中也存在相同的數據。我想根據時間範圍搜索所有數據。我希望這個速度夠快。我可以想到以下可能的方法： - 廢除完整的S3並根據時間對它們進行排序（這不符合我的延遲要求） - 使用DynamoDB掃描過濾器將無助，因爲它們掃描整個表格。考慮數據量大。 要求：
    search amazon-s3 amazon-dynamodb large-data-volumes large-data 2013-10-15

    1熱度

    1回答

    通過合併較小的csv文件創建一個350000列csv文件

    我有大約350000個一列csv文件，其實質上是200 - 2000個數字打印在另一個之下。數字格式如下：「-1.32％」（不含引號）。我想合併這些文件來創建一個csv文件的怪物，其中每個文件都是一個單獨的列。合併的文件最多有2000行（每列可能有不同的長度）和350000列。 我想到用MySQL做它，但有一個30000列限制。 awk或sed腳本可以完成這項工作，但我不太瞭解它們，恐怕這需要很長
    sql csv unix large-data-volumes large-data 2013-07-17
最新問題