合併多個文件，並寫入新文件沒有重複在Java中

Question

我有2個文件以下內容

file1.txt 
stack 1 
overflow 2 
frequency 4 

file2.txt 
stack 2 
overflow 1 
terms 5 

我想將多個文件合併這樣的創造與下面的輸出

final.txt 
stack 3 
overflow 3 
terms 5 
frequency 4 

一個新的文件

注：文件是非常大的規模

任何人可以幫助什麼是做這種方式嗎？

Answer 1

您可以試試Spark。 Spark建立在分佈式數據集的概念上，分佈式數據集包含任意的Java或Python對象。您從外部數據創建數據集，然後對其應用並行操作。