將Apache Pig連接到Hadoop集羣

Question

我正在使用Apache Pig對Hadoop集羣執行一些數據分析工作。我在hadoop集羣中部署了一個集合節點和32個從屬節點。但是，當我使用Pig在mapreduce模式下運行腳本時，連接到該Hadoop羣集時，它始終只啓動一個映射並減少一個映射。我如何設置Pig或Hadoop來使用所有32個從站？下面

工作狀態顯示：

Job Stats (time in seconds): 
JobId Maps Reduces MaxMapTime MinMapTime AvgMapTime MedianMapTime MaxReduceTime MinReduceTime AvgReduceTime MedianReducetime Alias Feature Outputs 
job_1457865367374_0001 1 1 88 88 88 88 27 27 27 27 1-1,access_grouped,access_summed,cleaned,named,raw,timed,timed_grouped,timed_summedMULTI_QUERY 
job_1457865367374_0002 1 1 5 5 5 5 5 5 5 5 access_ordered SAMPLER 
job_1457865367374_0003 2 1 10 10 10 10 6 6 6 6 density,density_scored HASH_JOIN 
job_1457865367374_0004 1 1 5 5 5 5 5 5 5 5 timed_ordered SAMPLER 
job_1457865367374_0005 1 1 5 5 5 5 5 5 5 5 timed_ordered ORDER_BY hdfs://master:54310/user/ubuntu/Data/timed_ordered, 
job_1457865367374_0006 1 1 5 5 5 5 5 5 5 5 access_ordered ORDER_BY hdfs://master:54310/user/ubuntu/Data/access_ordered, 
job_1457865367374_0007 1 1 5 5 5 5 5 5 5 5 density_ordered SAMPLER 
job_1457865367374_0008 1 1 5 5 5 5 5 5 5 5 density_ordered ORDER_BY hdfs://master:54310/user/ubuntu/Data/density_ordered, 

b.t.w，我主計算機上安裝了Apache豬。

Answer 1

SET default_parallel XYZ

在豬上述命令給出功率來設置無。並行任務。但hadoop Framework檢測不到。 （基於輸入拆分的數量）和縮減器（可以在Custer級別或應用程序級別上設置）。你不能設置否。你的應用程序的映射器，但減速器，你可以。