單個HDFS上的SPARK RDD分區分割

Question

如果我們有一個128MB的文件，HDFS分割爲128MB，並且發出sc.textFile（xxx，4），實際上會發生什麼？在這種情況下，RDD在分區方面實際上意味着什麼？ 4個處理分區仍然還是隻有1個？

Answer 1

當你使用這樣的代碼：

JavaRDD<String> in = sc.textFile(xxx,4); 
in.persist(); 

然後你RDD有4個分區。他們應該有32 MB的大小。然後，你可以做一些喜歡這樣的：

rdd.count() 

當你用本地然後運行本地代碼[4]，則數會隨着並行4個進程（任務）執行。