我們必須存儲大約1300萬個文件並對這些文件執行一些標準操作。我們正在使用Windows。第一個問題是我們可以將它存儲在文件系統上嗎?文件總大小約爲6000TB。我正在檢查MongoDB上的gridfs。我不知道這是否是一個好方法。我們將在服務器端使用Java。
如果能夠舒適地存儲這些文件,那麼獲取文件並將其提供給用戶以及文件重命名,元數據更新等操作的性能會如何。
我們還需要將所有文件備份到輔助文件系統存儲後來。但是gridfs中的文件將以塊的形式存儲。所以問題是我們如何快速獲取所有這些文件並將其發送到輔助文件系統。
請讓我知道我應該採取的方法。1300萬個文件gridfs mongo
0
A
回答
5
MongoDB是網絡規模,所以它應該很好
+0
如何備份所有的文件存儲在gridfs到輔助文件系統存儲工作,可以輕鬆完成嗎? – 2012-03-16 11:00:56
+2
強制NSFW帖子:http://www.youtube.com/watch?v = b2F-DItXtZs。另外,將GridFS備份到另一個文件系統並不是非常直觀,如果您將文件存儲在Windows上,則從GridFS數據庫中檢索它們會使很多MS應用程序(如Word,Excel,Photoviewer)無法讀取它們。如果你在Linux上,你應該沒問題。 – PinkElephantsOnParade 2012-06-22 13:35:24
相關問題
- 1. nginx mongo和gridfs bug
- 2. 在Mongo數據庫和多個文件上的多個GridFS
- 3. Mongo DB讀取4百萬個文檔
- 4. 在mongo GridFs中使用PHP
- 5. Mongo GridFS支持Vert.x 3.2.0
- 6. 上傳後用ExpressJS將文件存儲在Mongo的GridFS中
- 7. GridFS使用Mongo ODM不起作用
- 8. C#內存緩存發現數據有1300萬行
- 9. Gridfs和貓鼬文件上傳
- 10. MongoDB GridFS獲取文件ID
- 11. 在GridFs(MongoDb)中創建文件
- 12. GridFS使用文件名作爲索引
- 13. MongoDB GridFS說明
- 14. MongoDB GridFS錯誤:重複的元素名稱'文件名'
- 15. 使用具有附加條件的全文搜索來搜索1300萬條記錄
- 16. MongoDb和GridFS - 來自文件上傳的任何病毒風險?
- 17. Python:讀萬文件並創建一個
- 18. GridFS隨機訪問
- 19. 使用Java&GridFs在MongoDB中存儲和重試文件
- 20. 查詢MongoDB的GridFS的文件數據
- 21. 存儲文件在mongoDB withour GridFS
- 22. 使用GrifFsTemplate.delete刪除GridFS上的文件
- 23. 用node.js,mongoose,gridfs-stream讀取文件
- 24. 用於HA文件存儲的MongoDB GridFS
- 25. 如何覆蓋MongoDB Gridfs中的文件?
- 26. 轉儲包含GridFS引用的mongo集合的子集?
- 27. 使用Node + Jade + Express存儲在Mongo(GridFS)中的渲染圖像
- 28. 如何從mongo gridfs調整圖像流的大小
- 29. 傳遞一個.js文件到mongo db.eval()
- 30. 如何從使用gridFS存儲的mongodb中讀取mp3文件?
@JeffFoster,仍然不知道要遵循什麼路徑。研究一些高性能的文件系統,Ceph,Lustre等。我對文件系統知之甚少。網格是一個更好的選擇...? – 2012-03-16 09:46:33
@Vish由傑夫寫的,這是專業的東西...而不是「正常」親可能...對於專業親:-) – xanatos 2012-03-16 09:51:49