2014-01-09 37 views
0

想要使用mongoimport將需要使用的命令從csv文件導入到mongodb中的數百萬條記錄時,以下格式獲取文檔以獲取此格式。請幫忙。謝謝。在使用mongoimport時在mongodb中進行文檔格式化

"_id" : { 
      "X_id" : 1, 
      "y_id" : 2, 
      "z_id" : 3 
    }, 
    "name" : "test", 
    "allow" : 1, 
    "date1" : ISODate("2012-12-31T17:31:02.981Z"), 
    "date2" : ISODate("2012-12-31T17:31:02.981Z") 

}

+0

那麼爲什麼你要添加標籤「sql」? – Backtrack

+0

你可以顯示csv文件示例 – Backtrack

+0

任何幫助嗎? – user3175930

回答

0

mongoimport工具僅用於從CSV/TSV/JSON文本文件的直接導入。對於更復雜/自定義的轉換,您需要使用MongoDB的supported language drivers之一以您最喜歡的編程語言創建自己的導入腳本。

如果你有百萬條記錄導入,可以幫助加快導入幾個方法是:

  • 使用MongoDB的bulk inserts上傳從CSV讀取的行批次(即不是每個插入後線讀)
  • 使用面向流的CSV解析庫(一些天真的CSV解析器可以嘗試將整個文件讀入內存)
  • 使用多線程來解析和處理傳入的CSV;一個簡單的方法可能是將CSV分割成多個較小的文件並執行並行執行