我使用此腳本http://jexp.de/blog/2014/10/flexible-neo4j-batch-import-with-groovy/將csv文件導入到neo4j。該文件相當大:約6000萬行。我爲性能分配了30GB內存,30GB用於節點,其餘30GB。但是,進口商陷入了4900萬行。這是記憶問題嗎?Groovy neo4j批量導入
的輸出如下所示在x秒在Y秒 處理 48900000線加工這
48800000線,然後將其停止處理,是不動的。
我使用此腳本http://jexp.de/blog/2014/10/flexible-neo4j-batch-import-with-groovy/將csv文件導入到neo4j。該文件相當大:約6000萬行。我爲性能分配了30GB內存,30GB用於節點,其餘30GB。但是,進口商陷入了4900萬行。這是記憶問題嗎?Groovy neo4j批量導入
的輸出如下所示在x秒在Y秒 處理 48900000線加工這
48800000線,然後將其停止處理,是不動的。
你錯過了關係嗎? 那些是最關鍵的 我忘了一個在最初的例子,這是每個節點的
neostore.relgroupstore.db=10MB
15字節 38字節每關係 每4 42個字節屬性
而且做你有128GB的內存?爲了適應內存映射?
你在使用什麼操作系統?
哦,並在最後停止相當長的時間來創建索引和約束,可能是這種情況。
您可以在此之前添加輸出。
我在Linux上。我目前的機器有超過100GB的RAM,是的。我在閱讀您的文章後確實添加了關係。這次索引了4500萬個節點需要大約20分鐘的時間。 – Anastasia 2014-11-25 00:10:07
什麼是「卡住」?錯誤,例外,沒有任何反應,100%的CPU,交換,...? – cfrick 2014-11-14 18:23:50
沒有任何反應。我現在會更新這個問題 – Anastasia 2014-11-14 18:33:41
是你的db服務器做的所有工作嗎?沖洗所有的批次信息或GC地獄了嗎? – cfrick 2014-11-14 18:55:41