large-data

    1熱度

    1回答

    我想讀取大量的圖像進行深度學習，但當內存不足時該如何解決？

    在用python編寫的深度學習程序中，我想要一次性在numpy數組中存儲大量圖像數據，並從該數組中隨機提取批量數據，但圖像數據太大，內存耗盡。 我們應該如何處理這種情況？每次檢索批處理數據時，我別無選擇，只能進行IO處理並從存儲中讀取圖像數據？
    python numpy memory deep-learning large-data 2017-11-25

    -3熱度

    1回答

    在R中增加RAM的使用

    我對一些項目使用R。在處理大量數據時，它使用我的筆記本電腦的8 GB RAM，這隻佔筆記本電腦總RAM的12.5％。我如何增加R的RAM使用量，使其至少可以使用50％？
    r ram large-data 2017-10-08

    0熱度

    1回答

    php-查找重複和按數組屬性排序

    我有一個大的產品關聯數組。我想檢查是否有重複產品，然後獲得產品與低價格。 我可以使用array_unique和array_count_values找到重複的記錄，但我不知道如何處理進行排序的部分。 陣列屬性： PRODUCT_ID（唯一） 標題 價格 樣本數據 Array ( [0] => Array ( [product_id] => 1111
    php sorting large-data array-unique 2017-10-18

    1熱度

    2回答

    如何繪製大時間序列（數千次用藥次數/劑量）？

    我正試圖在醫院裏開出一種藥物。在這個虛擬數據庫中，我在2017/01/01之後遇到1000次患者。 繪圖的目標是看到這種藥物的管理模式：它是更頻繁/高劑量接近入院時間，出院時間或患者住院期間。 #Get_random_dates that we will use multiple times gen_random_dates <- function(N, st, et) { st <- as.
    r time-series large-data medical 2017-10-21

    1熱度

    1回答

    如何更有效地更新此表中的13億行？

    我有一個PostgreSQL表sku_comparison看起來像這樣1.3十億行： id1 (INTEGER) | id2 (INTEGER) | (10 SMALLINT columns) | length1 (SMALLINT)... | ... length2 (SMALLINT) | length_difference (SMALLINT) 的id1和id2列在一個表中引用所謂s
    postgresql sql-update large-data 2017-09-02

    0熱度

    1回答

    Redshift UNLOAD語句在19分鐘後被取消

    我試圖從EC2實例使用此實用程序（https://github.com/awslabs/amazon-redshift-utils/blob/master/src/UnloadCopyUtility/redshift-unload-copy.py）卸載到s3大型（6GB）數據集。 但是卸載的語句獲取19分鐘後，取消了60秒（我曾嘗試已經2次） pg.OperationalError: ERROR:
    timeout amazon-redshift onunload large-data 2017-09-04

    2熱度

    2回答

    在Fortran 90基於「查找」的邏輯索引

    我想使用幾種不同的方法在數組（EP_G2）中基於.1和.999之間的值在邏輯索引中使用邏輯數組（B） ）其中循環2）任何。 program flux_3d implicit none INTEGER :: RMAX, YMAX, ZMAZ, timesteps DOUBLE PRECISION, PARAMETER :: pmin=0.1 DOUBLE PRECISION, PARAME
    indexing fortran intel-fortran large-data 2017-09-05

    0熱度

    1回答

    R：xmlEventParse與大的，變節點的XML輸入和轉換到數據幀

    我有發佈數據的〜100個XML文件中的每個> 10GB格式是這樣的： <?xml version="1.0" encoding="UTF-8"?> <records xmlns="http://website」> <REC rid=「this is a test」> <UID>ABCD123</UID> <data_1> <fullrecord_metadata
    r xml xml-parsing large-data 2017-09-13

    14熱度

    2回答

    計算一個bigmatrix的R中的零空間

    我無法找到任何功能或包在R.計算的bigmatrix（從library(bigmemory)）零空間或（QR分解）例如： library(bigmemory) a <- big.matrix(1000000, 1000, type='double', init=0) 我嘗試了以下，但得到了顯示的錯誤。我如何找到bigmemory對象的空位？ a.qr <- Matrix::qr(a) #
    r matrix r-bigmemory large-data 2017-09-16

    1熱度

    1回答

    大型XML數據的邏輯應用程序和存儲過程

    我試圖通過Azure中的邏輯應用程序來解決較小的集成問題。 我有一個存儲過程，從數據庫中選擇數據並輸出XML作爲結果。 事情是，Xml結果是大約50k行和相當大。 我做了一個本地網關連接，通過邏輯應用程序運行存儲過程。但是當我得到結果時，它不僅分裂了大的xml，而且還在大約15k行之後削減了整個結果。 我知道我可以使用blob，這意味着我需要首先將sql-xml導出到文件，這也意味着我需要使用類似
    sql-server xml large-data large-files azure-logic-apps 2017-09-27
最新問題