bigdata

    3熱度

    1回答

    如何管理在R中生成大數據.tables？ （不讀大表）

    我一直在尋找解決方案，但似乎無法找到任何東西。 基本上我有一塊，我正在尋找擴展到大數據的代碼，代碼的樣本提取物是以下： num_train <- 100 num_test <- 100 train <- data.table(k = rep(1,num_train), ID_train = 1:num_train, b_train = rnorm(num_train), c_train =
    r data.table bigdata 2012-11-21

    2熱度

    2回答

    R中是否有像bigmemory這樣的包可以處理大型列表對象？

    我知道R包bigmemory在處理大型矩陣和數據框方面效果很好。但是，我想知道是否有任何包或任何方式有效地處理大名單。 具體來說，我創建了一個列表，其元素是向量。我有一個for循環，並在每次迭代期間，多個值被附加到該列表中的選定元素（矢量）。起初，它運行得很快，但是當迭代結束時可能會有10000次，它會逐漸減慢（一次迭代大約需要一秒）。我會經歷大約70000到80000次迭代，並且之後這個列表會非
    r list bigdata 2012-11-22

    2熱度

    2回答

    顯示在記

    性能問題多列引用的表中的另一場我有edge像這樣的表： ------------------------------- | id | arg1 | relation | arg2 | ------------------------------- | 1 | 1 | 3 | 4 | ------------------------------- | 2 | 2 | 6 | 5 |
    sql performance postgresql indexing bigdata 2012-11-23

    4熱度

    1回答

    你如何處理荒謬的大數字？

    有些情況下程序員需要或想要查找非常大的數字。這些通常是非常大的，他們無視程序員的理解。我正在談論諸如the largest known prime number（與12978189 數字）和最近計算的10 trillion digits of pi。 如何創建一個處理這些的程序？這遠遠超過了整數，長整數，雙整數，BigInteger，BigDecimal或其他任何類型。這些類型的程序如何創建這些數
    language-agnostic bigdata largenumber 2012-11-24

    0熱度

    1回答

    大表中的行之間的時間差異

    我有一個巨大的sql表（超過10億）用戶事務。 我想添加一個二進制列，它表示當前user_id行的位置是否在40分鐘以內。 例如： user_id | date --------+-------------------- 1 | 2011-01-01 12:15:00 1 | 2011-01-01 12:00:00 8 | 2011-01-01 15:00:00 8 |
    sql postgresql bigdata 2012-11-25

    4熱度

    2回答

    在R中存在什麼並行算法，在大數據上工作

    我想知道在CRAN/github/R-Forge的R或R軟件包中存在哪種統計/數據挖掘算法可以並行處理大數據集1服務器或順序運行，而不會發生內存不足問題或一次可在多臺機器上運行。 這是爲了評估我是否可以輕鬆地將它們移植到像ffbase :: bigglm.ffdf這樣的ff/ffbase中。 我想向上分割這些爲3個部分： 算法並行 巴克肖特（https://github.com/lianos/bu
    algorithm r memory machine-learning bigdata 2012-11-26

    2熱度

    1回答

    什麼時候使用什麼數據庫？即在選擇要使用的數據庫時應該看什麼參數？

    我正在開發有多個模塊的系統， 社會化媒體用戶人口 - （文檔） - 姓名，祿，興趣，工作，教育 社會化媒體用戶連接數 - （圖） - 朋友 CRM - （行和列） - 電信+銀行等 僅舉幾例。我非常肯定，我已經在其中的每一箇中跨越了數百萬條記錄。 當我尋找一個NoSql數據庫來選擇我在每個類別中至少有10個。對於文檔數據庫，我有一個從MongoDB到DjonDB的數組列表。當我查找圖形數據庫時，也
    nosql bigdata graph-databases key-value-store document-database 2012-11-27

    1熱度

    1回答

    託管大型表的低成本方式仍然保持性能可擴展性？

    我有一張正在增長的表格，它可以存儲時間序列數據，現在有500萬個條目，每天有200,000條新記錄。目前總大小約爲15GB。 我的客戶主要是通過PHP腳本查詢表格，結果集的大小約爲10K條記錄（不是很大）。 select * from T where timestamp > X and timestamp < Y and additionFilters 而且我希望這個操作便宜。 目前我的桌子是
    database performance postgresql database-design bigdata 2012-11-29

    2熱度

    1回答

    真正大數據的不相交集

    對於真正的大數據（比如超過2^32個元素和超過2^32對聯合），是否有增強的不相交集算法？ 顯然最大的問題是我不能製作這麼大的數組，所以我想知道是否有更好的算法或更好的數據結構來完成我的任務？
    algorithm bigdata disjoint-sets union-find 2012-11-30

    4熱度

    3回答

    如何解析來自BigQuery結果的JSON響應？

    我試圖樣本的JavaScript代碼來調用谷歌的BigQuery API（https://developers.google.com/bigquery/docs/authorization#client-side-javascript） JS： function runQuery() { var request = gapi.client.bigquery.jobs.query({
    javascript jquery google-bigquery bigdata 2012-11-30
最新問題