large-data

    0熱度

    1回答

    在使用多個數據庫的大型系統中。 如:用於貿易信息存儲 用於用戶帳戶存儲db_fund db_trade使用 db_auth進行身份驗證和授權 在這種情況下user_info是常見信息。 貿易體系和基金制度 UI需要顯示貿易或帳戶,用戶信息的信息。爲了獲得更好的性能,它需要執行sql查詢left join user_info。 我wan't知道如何在更大的系統設計: 程序進行數據關聯? 同步user

    2熱度

    1回答

    我在我的應用程序中使用「Infragistics igTreeGrid」來顯示記錄。當我向網格提供更少的記錄數時,每件事情都正常工作,但我的要求是顯示大約40,000一次記錄。所以當我將這些記錄提供給網格時,它需要大約2分鐘的時間,這非常高。那麼我應該怎麼做才能將性能提高至目前的一半。我已經看過「虛擬化」和「按需加載」,但我並沒有明確得到它們的內容。當我使用虛擬化時,網格比沒有虛擬化需要更多的時間

    4熱度

    1回答

    我不是一名調查方法學家或人口統計學家,但卻是Thomas Lumley的R調查報告的熱心粉絲。我一直在處理一個相對較大的複雜調查數據集,即醫療成本和利用項目(HCUP)國家急診部樣本(NEDS)。如醫療保健研究和質量機構所述,它是「來自位於30個州的947家醫院的急診就診的出院數據,近似於美國醫院急診科的20%分層樣本」 2006年的完整數據集到2012年包括198,102,435個觀察。我已經將

    0熱度

    2回答

    我目前正在製作一個應用程序,我需要存儲大量的數據, 4000到7000個用戶名和相等數量的註冊日期。 你如何推薦我這樣做?

    2熱度

    1回答

    我正在用theano培訓一個帶有1M圖像的CNN。現在我對如何準備培訓數據感到困惑。 我的問題是: 當圖像大小調整爲64 * 64 * 3,整個數據的大小爲100G左右。我應該將數據保存到單個npy文件還是一些較小的文件?哪一個是有效的? 如何決定CNN的參數個數? 1M/10 = 100K如何? 我應該限制一個訓練塊的內存開銷和CNN參數少於GPU內存嗎? 我的電腦配有16G內存和GPU Tit

    0熱度

    1回答

    我正在編寫一個Perl腳本,它可以搜索300,000個以上文件的目錄,並刪除給定年份中除第一個以外的所有文件。我的問題是,我的代碼迫使Perl基本上掃描300,000個文件的目錄大約300,001次。到目前爲止它已經運行了四天,我希望你們有一些技巧可以讓代碼在未來更高效。 腳本: #!/usr/bin/perl use Date::Calc qw(Delta_Days Decode_Date_E

    -1熱度

    3回答

    我有一些數據與用戶名和日期。 有時候會有大量數據需要循環並更新sql數據庫,但數據庫超時。 有沒有更好的方法可以做到這一點,請在下面的示例代碼。 foreach($time[$re->userid][$today] as $t){ if(($re->time >= $t->in_from) && ($re->time < $t->in_to) && md5($t

    3熱度

    6回答

    我正在使用以下方法將目錄的內容複製到其他目錄。 public void DirCopy(string SourcePath, string DestinationPath) { if (Directory.Exists(DestinationPath)) { System.IO.DirectoryInfo downloadedMessageInfo

    0熱度

    1回答

    我有一個超過200k條目的數據庫。我希望能夠訪問數據庫以確定數據庫中是否存在各種值。 我能想到的唯一能夠實現我想要做的事情就是使用數組,但我不確定搜索數組的速度有多快。數組是找到列表中值的最佳方式,還是有更好的方法?

    0熱度

    1回答

    我有一個聊天應用程序。我有一個API,它返回用戶說話的用戶列表。但是,當MySQL達到100000行數據時,需要很長時間才能返回列表消息。 這是我的郵件表 CREATE TABLE IF NOT EXISTS `messages` ( `_id` int(11) NOT NULL AUTO_INCREMENT, `fromid` int(11) NOT NULL, `t