large-data-volumes

    0熱度

    1回答

    項目的量的收集:在列中顯示領域〜100K 量:4-10 本身的問題 - 收集與使用的EntityFramework一個數據庫中獲取。在開發計算機上大約需要10-12s來加載和實現所有需要的數據。還有一件事是,相同的集合可以綁定到幾個控件,因此,它們必須單獨過濾(=不設置默認集合視圖過濾器)。目前,我設置了綁定,如下所示: Binding b = new Binding(); b.Source =

    0熱度

    2回答

    考慮在Python下面的代碼,使用psycopg2 cursor對象(有些列名稱被改變或爲了清楚而省略): filename='data.csv' file_columns=('id', 'node_id', 'segment_id', 'elevated', 'approximation', 'the_geom', 'azimuth') self._cur.copy_from

    4熱度

    3回答

    我有一個擁有大約10萬個獨特頁面的網站。 (1)如何爲所有這些鏈接創建站點地圖?我應該將它們平放在一個大的站點地圖協議兼容文件中嗎? (2)需要在Google App Engine中實現此功能,其中有1000個商品查詢限制,並且我所有的單個網站網址均作爲單獨的條目存儲。我該如何解決這個問題?

    0熱度

    2回答

    我知道設置內部存儲器 ini_set("memory_limit","30M"); 的選擇,但我想知道是否有用於查詢數據的更好的方法? 我有一個WHILE LOOP檢查是否需要查詢另外1000條記錄。 使用偏移量作爲起始記錄編號和限制作爲返回的記錄,我搜索匹配我的數據請求的所有記錄。在出現錯誤之前,我在記錄中打了大約100K。 現在在測試過程中,我發現我收到'致命錯誤:允許的內存大小...'錯

    4熱度

    1回答

    我正在尋找一種方法來從較小的塊中獲取大型表中的所有數據。 請指教。

    0熱度

    1回答

    我現在正在開發包含印度尼西亞70,000多個村莊的JavaScript庫(可訪問http://bisbak.com/regina/),並且我構建了一個數據瀏覽器小部件。 Safari和Firefox中的一切都很好。但是,當使用Chrome瀏覽器時,當我選擇一個區域(會自動加載村莊)時,它總是需要很長時間。檢索區的村莊的代碼是這樣的: for (n in data) { var rs =

    30熱度

    8回答

    我有大量的數據(幾TB)並累積...它們包含在許多製表符分隔的文本文件中(每個大約30MB)。大部分任務包括讀取數據並基於一系列謂詞語句對觀察值/行進行彙總(彙總/平均+附加轉換),然後將輸出保存爲文本,HDF5或SQLite文件等。我通常使用R對於這樣的任務,但我擔心這可能有點大。一些候選方案是 寫了整個事情在C(或 的Fortran) 導入的文件(表)到直接在 關係數據庫和 然後決絕的R或Py

    4熱度

    4回答

    我想過濾出列表'a'從列表'b的所有元素,並返回過濾'b。這是我的函數: (defun filter (a b) "Filters out all items in a from b" (if (= 0 (length a)) b (filter (remove (first a) a) (remove (first a) b)))) 我是新來的Lisp和不知道

    0熱度

    2回答

    我需要從Oracle 10G數據庫表中導出1億個數據行(平均行長度〜100字節)到SQL Server(通過WAN/VLAN,每秒6MBits)定期進行。到目前爲止,這些都是我嘗試過的選項和快速總結。有沒有人試過這個?還有其他更好的選擇嗎?哪種選擇在性能和可靠性方面最好?所花費的時間是使用少量數據的測試計算出來的,然後將其推算出來以估計所需的時間。 在SQL服務器或SSIS包上使用數據導入嚮導來導

    3熱度

    6回答

    我已經繼承了一個與Web服務對話的C#.NET應用程序,並且該Web服務與Oracle數據庫對話。我需要向UI添加導出功能,以生成一些數據的Excel電子表格。 我已經創建了一個Web服務函數來運行數據庫查詢,將數據加載到DataTable中,然後將其返回,這對於少量行可以正常工作。但是,完整運行中有足夠的數據會導致客戶端應用程序鎖定幾分鐘,然後返回超時錯誤。顯然,這不是檢索這樣一個大型數據集的最