2016-06-08 119 views
0

我想將大數據集導入到neo4j。我創建了一個Python腳本,在讀取.xls文件後將密碼查詢寫入.cql文件,然後使用neo4j-shell運行它們。這適用於小數據集。但是在增加數據集的大小時,我的系統崩潰了。替代大批量數據集neo4j的批量導入器

我已經看到一些使用批量導入程序的建議,但它們通常基於Java(例如:Groovy),這是我不習慣使用的。那麼有沒有其他方法可以批量插入或至少是通過Python進行批量插入?

+0

我會用Neo4j的導入工具。 http://neo4j.com/docs/operations-manual/current/#import-tool –

+0

工作得很好,但只有一件事情,我必須創建ID的所有列加入關係?我不明白的文檔: ID和:IGNORE那好..所以一點幫助將是不錯的 –

回答

1

您可以嘗試使用Neo4J 加載CSV tool/cypher命令。 它非常靈活,可以與使用定期COMMIT來處理非常大的數據集,通過定期提交來防止緩衝區溢出問題並進一步優化過程。

唯一的先決條件是您能夠以CSV格式導出您的原始數據。

http://neo4j.com/developer/guide-import-csv/

http://neo4j.com/docs/developer-manual/current/#cypher-query-lang(第8.6節)

+1

更多的負載csv ..neo4j導入特別是在Windows上更好地工作.. http://neo4j.com/docs/operations-manual/current/#powershell-windows –