large-data-volumes

    0熱度

    2回答

    可以使用(BULK INSERT語句)將數據從臨時表插入到數據庫中的另一個表中? 如何使用此操作,因爲它具有超過100,000條記錄的臨時表? 感謝 (SQL Server 2005中)

    4熱度

    1回答

    不幸的是,我有一個非常大的語料工作被擴展到數百個。廣州的文件中查找項目。 Python真的是我的母語(哈),但我想知道我是否還沒有碰到一個需要學習「更快」語言的問題? 每個。廣州文件包含純文本一個單一的文件,大約56MB gzip壓縮,以及約210MB解壓。 在每個行是一個n-gram中(二元,三字母組,quadrigram等)和,在右邊,一個頻率計數。我需要基本上創建一個文件,用於存儲每個qua

    1熱度

    3回答

    我們有一個Web服務方法,它接受一些數據並將其放入Lucene索引中。我們用它來從我們的asp.net web應用程序索引新的和更新的條目。 這些條目存儲在一個大的SQL Server表(20M行和增長),我需要一種方式來重新索引整個表,以防當前索引被刪除或損壞。我不確定從大表中檢索數據塊的最佳方式是什麼。目前,我們使用表格具有自動增量的PK這一事實,所以我們得到1000行的塊,直到它開始不返回任

    0熱度

    2回答

    我的表中有大約7M記錄,其結構類似如下: create table Locations (LocationID (PK, int, not null),LocationName varchar(100) NOT NULL /*e.g. 'Paris'*/, ItemsNo (int, null), ICode char(1) null /*e.g. 'C'*/, LocationExtended

    10熱度

    1回答

    摘要 支撐我有一個大的迅速變化的數據集,其我想結合的UI(用數據網格分組)。這些變化分兩個層次。 物品經常添加或刪除從集合(500第二每一路) 每一個項目都有一個4個屬性,這將向上在其一生中更改爲5倍 的特性數據如下; 有收集 可以內的第二,被添加的項目在〜5000項然後有5條屬性的修改,然後被去除。 的項目也可以保留在一些中間狀態的同時,應顯示給用戶。 這我有問題關鍵的要求; 用戶應該能夠通過任

    5熱度

    4回答

    我需要編寫一個需要處理存儲在數據庫中的大量數據(100 000條記錄)的c#服務(可以是Windows服務或控制檯應用程序)。 處理每條記錄也是一個相當複雜的操作。作爲處理的一部分,我需要執行大量插入更新。 我們使用NHibernate作爲ORM。 一種方法是加載所有記錄並按順序處理它們......這可能會變得很慢。 我正在考慮多線程選項,並且正在考慮讓多線程同時處理記錄塊。 誰能給我,我應該如何

    4熱度

    1回答

    This question詢問有關在關係數據庫中存儲單個圖形的問題。在這種情況下,解決方案很明顯:一個表用於節點,一個表用於邊緣。 我有一個圖形數據結構,隨着時間的推移發展,所以我想將這個圖形的「快照」存儲在數據庫中。我想象有數百個這樣的快照。 一個解決方案是爲每個快照創建一個全新的表對節點和邊(如上所述)。有更好的解決方案嗎? 編輯:有人問我想用這個數據庫做什麼。我相信除了將圖形的所有轉儲到C+

    3熱度

    3回答

    我需要創建約200萬個向量w/1000個插槽(每個插槽只包含一個整數)。 處理這些數據量的最佳數據結構是什麼?這可能是我高估了涉及的處理/內存量。 我需要迭代一組文件(總共大約34.5GB),並且每次在一條線上遇到200萬個項目中的一個(每個對應於一個向量)時更新向量。 我可以很容易地爲此編寫代碼,但我知道它不會達到處理數據量的最佳效果,這就是爲什麼我要問專家。 :) 最佳, 喬治娜

    2熱度

    2回答

    我需要在Oracle中設計一個表格,它將在一天內存儲2-5 TB的數據。它可以增長到200TB,當記錄超過200TB時記錄將被清除。 它是一個可行的選擇,以保持它在OLTP,或者我需要把它轉移到數據倉庫數據庫? 請注意,在設計此表或數據庫的模式時,我應該記住這一點。 另外,請指教,如果它是一個SQL服務器,因爲我可以使用任何一個數據庫。

    2熱度

    3回答

    在我的程序中,我遇到了一些大於10000x10000的矩陣。 我不能轉置或反轉它們,這個問題如何克服? ??? Error using ==> ctranspose Out of memory. Type HELP MEMORY for your options. Error in ==> programname1 at 70 B = cell2mat(C(:,:,s))'; Ou