如何在mapreduce中對地圖側程序的輸出進行排序？

Question

我的問題是關於如何在mapreduce程序中對mapper的輸出進行排序（ps：沒有reducer（0）），我只用map來過濾兩個輸入，我希望結果（輸出映射器）將按照每個映射器的鍵進行排序。如何在不使用額外工作的情況下在同一份工作中完成這種排序？請您提出建議

Answer 1

您可以通過將所有預期結果收集到映射器中的本地/內存數據結構中來實現部分（每個映射器）排序。然後，您會對它進行排序，最後針對現在排序的集合中的所有元素運行collector.write。

因此，這裏與香草行爲的區別在於，在後一種情況下，每個元素僅僅發射，因爲它們遇到了 - 導致產生隨機/非有序輸出。

請注意，結果將不會有total ordering：這將需要一個Reducer步驟。

Answer 2

一個目錄中有三個文件 - 在一個作業中按一個映射器排序。運行方式 hadoop jar sort.jar sort file:///path/sortFiles/ sortedFiles

import java.io.IOException; 
import org.apache.hadoop.conf.Configuration; 
import org.apache.hadoop.fs.Path; 
import org.apache.hadoop.io.Text; 
import org.apache.hadoop.mapreduce.Job; 
import org.apache.hadoop.mapreduce.Mapper; 
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; 
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; 


public class sort{ 
    public static class sortMapper extends Mapper<Object, Text, Text, Text> { 
     public void map(Object key, Text value, Context context) throws IOException, InterruptedException { 

      //add filter logic here 
      context.write(new Text(value), new Text("")); 
     } 
    } 

    public static void main(String[] args) throws Exception { 

      if(args.length != 2) 
      { 
       System.out.println("missing agrs: usage <prog> <arg1> <arg2>"); 
       System.exit(1); 
      } 
     Configuration conf = new Configuration(); 
     Job job = Job.getInstance(conf, "sort mutilple files"); 
     job.setJarByClass(sort.class); 
     job.setMapperClass(sortMapper.class); 
     job.setOutputKeyClass(Text.class); 
     job.setOutputValueClass(Text.class); 

     FileInputFormat.addInputPath(job, new Path(args[0])); 
     FileOutputFormat.setOutputPath(job, new Path(args[1])); 

     job.waitForCompletion(true); 
     } 
}