2014-11-14 82 views
0

我使用此腳本http://jexp.de/blog/2014/10/flexible-neo4j-batch-import-with-groovy/將csv文件導入到neo4j。該文件相當大:約6000萬行。我爲性能分配了30GB內存,30GB用於節點,其餘30GB。但是,進口商陷入了4900萬行。這是記憶問題嗎?Groovy neo4j批量導入

的輸出如下所示在x秒在Y秒 處理 48900000線加工這

48800000線,然後將其停止處理,是不動的。

+0

什麼是「卡住」?錯誤,例外,沒有任何反應,100%的CPU,交換,...​​? – cfrick 2014-11-14 18:23:50

+0

沒有任何反應。我現在會更新這個問題 – Anastasia 2014-11-14 18:33:41

+0

是你的db服務器做的所有工作嗎?沖洗所有的批次信息或GC地獄了嗎? – cfrick 2014-11-14 18:55:41

回答

1

你錯過了關係嗎? 那些是最關鍵的 我忘了一個在最初的例子,這是每個節點的

neostore.relgroupstore.db=10MB

15字節 38字節每關係 每4 42個字節屬性

而且做你有128GB的內存?爲了適應內存映射?

你在使用什麼操作系統?

哦,並在最後停止相當長的時間來創建索引和約束,可能是這種情況。

您可以在此之前添加輸出。

+0

我在Linux上。我目前的機器有超過100GB的RAM,是的。我在閱讀您的文章後確實添加了關係。這次索引了4500萬個節點需要大約20分鐘的時間。 – Anastasia 2014-11-25 00:10:07