Hadoop中的mapred進程是多線程的嗎？

Question

我將hadoop集羣配置爲mapred_map_tasks_max爲6，並且如預期的那樣，當踢出PIG作業時，我看到有6個mapred進程正在運行。

但是，我看到有些單個進程的CPU使用率超過100％，有時達到1000％+有點驚訝。 mapreduce默認爲多個線程嗎？這可能是豬本身的事嗎？

我在網上可以找到的所有信息都是關於設置（mapred.map.runner.class）的信息，但是無論如何，這似乎並沒有設置爲MultiThreaded。

謝謝。

PID USER PR NI VIRT RES SHR S％CPU％MEM TIME + COMMAND
2630 mapred 20 053.4克2.8克12米小號218.1 4.5 1：17.32的java
2553 mapred 20 053.4克2.8克12米小號110.7 4.5 1：25.07的java
2636 mapred 20 053.4克2.8克12米小號110.4 4.5 1：11.58的java
2437 mapred 20 053.5克5.6克12米小號108.1 8.8 3：46.52的java
2353 mapred 20 053.5克5.2克12m S 101.1 8.3 3：35.27 java
2239 mapred 20 0 53.5g 5.8g 12m S 82.6 9.3 3：54.47 java

Answer 1

I t可以通過Hadoop使用多線程映射器（請參閱http://kickstarthadoop.blogspot.com/2012/02/enable-multiple-threads-in-mapper-aka.html）。據我所知，豬不支持多線程作業（儘管你可以使用多線程調用Pig Servers ... https://issues.apache.org/jira/browse/PIG-240）。也就是說，Pig會默認在同一主機上運行多個映射器/縮減器，每個可用的內核中有一個映射器/縮減器。