bigdata

2熱度

1回答

我需要在卡桑德拉小POC，我需要創建以下類型的列族：用戶提供唯一的字符串ID（例如「1234」）應存儲由時間戳下令所有進來的他的消息。 "1234"=> [ 1348008041376000 : { target_uid : 4321, msg : "Hello, how are you?" }, 1348008041377000 : { target_uid

4熱度

2回答

SPARQL查詢：使用VALUES聯數據或UNION與bigdata店

我有一個數據集，看起來有點像： <item1> <isLocated> <someAddress> <item2> <isLocated> <someAddress> <item3> <isLocated> <someOtherAddress> 我希望能夠用SPARQL來回答這個問題：「我會在某個地址或某個地址找到哪些項目？「我可以使用UNION這樣的： SELECT ?item {

1熱度

1回答

如何持續地理座標

我正在製作一個應用程序，從rps地理座標從gps手機。稍後，通過這些地理座標，我將在地圖中顯示路線。堅持這些信息的最佳方式是什麼？你推薦哪個數據庫？我在問這個問題，因爲對於大型旅行來說，地理座標將被記錄到很多記錄，並且會影響到性能。任何幫助將不勝感激。乾杯

0熱度

1回答

使用隨機訪問文件的番石榴multimap？

我有一個Integer []的文件，它太大而無法放入內存。我想用x的最後一個成員搜索所有數組，並在其他代碼中使用它們。有沒有辦法使用Guava的multimap來做到這一點，其中x是密鑰並存儲在內存中，Integer []是存儲在磁盤上的值？在這種情況下，鍵不是唯一的，但鍵值對是唯一的。閱讀這個多圖（假設它是可能的）將是併發的。我也接受其他解決方法的建議。感謝

0熱度

1回答

測試大數據框架需要什麼樣的環境？

作爲論文的一部分，我必須評估和測試一些大數據框架，如Hadoop或Storm。你會推薦什麼樣的最小設置來獲得關於性能和可伸縮性的相關信息？什麼樣的雲平臺最適合這個？由於即時評估多個框架PaaS - 解決方案不會是最好的選擇。對？最少數量的節點/服務器獲取相關信息是多少？越便宜越好，因爲該公司即時通訊做它可能不會給予我一個20機械集羣;）非常感謝， kroax

0熱度

1回答

這是一個可行的MapReduce用例，甚至可能執行？

我是Hadoop，MapReduce，Big Data的新手，我試圖評估它對於我正在開發的項目非常有趣的特定用例的可行性。但我不確定，如果我想完成的是A）可能的或者B）推薦使用MapReduce模型。我們基本上擁有大量小部件（已知的數據結構）和定價模型（編入JAR文件），我們希望能夠做的是執行小部件和定價模型的每個組合以確定結果的模型排列中的定價。定價模型本身將檢查每個小部件，並根據模型內的決策

36熱度

1回答

如何判斷R中的數據集何時會過大？

我打算在R中進行一些日誌文件分析（除非我不能在R中完成），並且我知道我的數據需要適合RAM（除非我使用某種類型的修補程序，如接口到keyval商店，也許？）。所以我想知道如何提前告訴我的數據將在RAM中佔用多少空間，以及我是否有足夠的空間。我知道我有多少內存（數量不是很多 - 在XP下爲3GB），並且我知道我的日誌文件最終會有多少行和多少列，以及列條目應該包含哪些數據類型（這大概需要檢查它讀取）。

3熱度

1回答

使用Python存儲和訪問大數據

我即將開始處理大小約爲500 GB的數據。我希望能夠在任何給定時間使用Python訪問數據的小部分。我正在考慮使用PyTables或MongoDB與PyMongo（或Hadoop - 謝謝Drahkar）。我應該考慮其他文件結構/數據庫嗎？我將要做的一些操作是計算從一點到另一點的距離。基於布爾測試等的索引提取數據。結果可能會在網上發佈，但目前它只能用於桌面進行分析。乾杯

1熱度

3回答

轉換文本CSV二進制文件，並從它那裏得到Python中的隨機行沒有它讀取內存

我在格式一些CSV文本文件： 1.3, 0, 1.0 20.0, 3.2, 0 30.5, 5.0, 5.2 的文件是3.5GB左右大小和我在一段有用的時間內，他們無法將任何這些內容讀入熊貓的內存中。但我不需要讀取所有文件，因爲我想要做的是從文件中選擇一些隨機行並讀取那裏的值，我知道理論上可以做到這一點，如果文件以所有字段具有相同大小的方式進行格式化 - 例如，float16位於二進制文

2熱度

2回答

matlab中的大型數據文件不加載/導入

我一直試圖加載數據文件（csv）到運行在win7（64位）上的matlab 64位，但得到內存相關的錯誤。文件大小約爲3 GB，第一列包含日期（dd/mm/yyyy hh：mm：ss），另外兩列包含出價和要價。內存命令返回以下： Maximum possible array: 19629 MB (2.058e+010 bytes) * Memory available for al