large-data

    0熱度

    1回答

    對於大於100MB的文件，git lfs無法正常工作

    git建議我將git lfs用於大文件。在我用git lfs跟蹤它們並檢查它們是否被添加到.gitattribute後，我仍然得到文件大於100MB的相同確切文件的錯誤。這裏有什麼建議以及我如何解決這個問題？我需要將這些大文件作爲項目的一部分上傳到github。 [email protected]:~/computer_vision/py-faster-rcnn$ git push -u orig
    git github git-lfs large-data 2016-08-31

    1熱度

    1回答

    正在將大型數據集（200GB）讀取爲可能的字典？

    我有一個問題，如何Python的功能。 我有一個非常大的數據集（200 GB），我會使用Python通過線路，在字典存儲數據進行迭代，然後進行一些計算。最後，我會將計算的數據寫入一個CSV文件。 我的關心是我的電腦的容量。我害怕（或非常確定）我的RAM無法存儲該大型數據集。有沒有更好的辦法？ 這裏是輸入數據的結構： #RIC Date[L] Time[L] Type ALP-L1-BidPrice
    python dictionary financial large-data 2016-10-31

    0熱度

    1回答

    我想tar解壓後停止一定的文件範圍

    我有一個巨大的tar存檔，我拉大部分出來一次處理一個。我不想爲了防止它填滿磁盤並使其他應用程序崩潰而不得不照看它。 我知道我可以使用--starting-file=從檔案中的任意文件開始，但似乎沒有--stopping-file=命令。 它看起來像我可以寫一個倒排斥模式讓它忽略之後的所有文件，但它似乎仍然會嘗試遍歷所有索引（至少是頂層文件夾）檢查它們，耗費資源和防止提前終止。 有沒有更好的方法阻止
    tar large-data 2016-11-04

    3熱度

    2回答

    優化Python：大數組，內存問題

    我遇到了運行python/numypy代碼的速度問題。我不知道如何讓它更快，也許是別人？ 假設有一個表面有兩個三角形，一個有M點的罰款（..._罰款），一個有N個點的罰款。另外，每個點都有關於粗網格的數據（N個浮點數）。我正在嘗試執行以下操作： 對於細網格上的每個點，找到粗網格上的k個最近點並獲取平均值。短：內插數據從粗到細。 我現在的代碼就是這樣。對於大數據（在我的情況下，M = 2e6，N =
    python arrays performance numpy large-data 2016-09-28

    0熱度

    1回答

    如何在Javascript中編寫大型日誌？

    運行.js文件時，我需要記錄大量事件，到目前爲止，我試圖使用console.log(data)來記錄所有數據，然後我可以從瀏覽器日誌中保存（我使用的是Chrome） 。 但是，我遇到了這麼多日誌消息的問題，瀏覽器只包含尾部消息，而我需要所有消息。 我想知道是否可以讓Google Chrome存儲更多日誌消息，或將日誌作爲文件存儲在計算機上？我需要能夠追加，因爲我不知道日誌什麼時候會停止，而且我不希
    javascript logging large-data 2016-09-29

    0熱度

    1回答

    3d根據邏輯語句在R中繪圖

    我有超過300個條目的巨大數據框。我正在嘗試根據收集點的時間繪製一個選定的幾個數據點。 這是一個數據框的窗口，我想繪製基於時間點的X，Y和Z位置。 （該數據幀具有多於這裏示出的2個時間點） \t Position.X \t Position.Y \t Position.Z \t Unit \t Category \t Collection \t Time \t Parent \t ID \t NU
    r plot 3d large-data 2016-09-29

    -2熱度

    1回答

    來自交易級別數據的帳戶級別視圖

    所以我的問題是關於我面臨的一個特殊問題，即我作爲當前工作的一部分必須參與的領域之一。 該域名是信用卡交易。所以它在交易層面是獨一無二的。但是一個人可能會進行多次交易。現在顯然每筆交易都不會完全相同。 所以我有這個基本的特徵數據集，我可以輕鬆管理。從這個數據集中，我想要評估各個細分市場的客戶級別性能，這些數據應該很容易訪問，而無需爲不同的變量組合運行我的代碼。基本上，我所瞄準的是以客戶層面的觀點來看
    transactions sas large-data 2016-09-30

    0熱度

    2回答

    使用聚合來促進計算

    所以最近我一直在學習聚合的功能，我發現它對於我使用的大數據集非常有用。通常我在Excel中手動操作數據，雖然有效，但卻非常耗時。 所以我想知道是否可以做到以下幾點。我有一個類似的結構，像這樣（但更大）的數據集： Fruit Crate Mass Apple A 4 Banana A 3.4 Orange B 2 Apple C 2.1 Apple C 4.5 Banana C
    r aggregate large-data 2016-10-03

    1熱度

    1回答

    List <>循環優化

    我有一個與大量相同類型的對象一起工作的項目。 現在我使用List<Person>，但是似乎在我有大約1 000 000個項目時循環遍歷這個列表是困難的。 在循環中，每個Person都有一個被調用的方法，並且有隨機生成的新項目，並且有些項目被刪除。 我該怎麼做才能優化這個循環？ 我應該更改集合類型還是將項目移動到數據庫？ 這是循環的樣子： while (_worldIsLiving) {
    c# optimization collections parallel-processing large-data 2016-10-10

    0熱度

    1回答

    Kendo UI Grid數據綁定到兩個表DB

    我想弄清楚兩件事。首先，這是可能的。其次，我在正確的道路上？ 我正在製作一個ASP.net Kendo UI網格，它只需要一個非常簡單的兩個表，即來自實體框架模型的內部連接。問題在於其中一個領域非常大。它要求我將json對象大小的值設置爲max int值，以便能夠返回單個表結果。 因爲結果集非常大，所以我似乎無法使用視圖模型。它只是返回一個大小限制錯誤。有沒有辦法將兩個表中的非常大的數據集返回到單
    asp.net-mvc kendo-ui grid large-data 2016-10-24
最新問題