2數據集之間的聯合使用不同模式

Question

我需要一個關於豬聯合的幫助：

豬有可能在2個數據集之間執行不同模式之間的聯合。

實施例：

A = LOAD '/user/hdfs/file1' AS (a:int, b:int); 
B = LOAD '/user/hdfs/file2' AS (c:int, d:int, e:chararray, f:float); 
UNION ONSCHEMA A, B; 

注：數據集的模式是不同的。

Answer 1

參見：http://pig.apache.org/docs/r0.10.0/basic.html#union

輸入：

file1的：

1,1 
2,2 

file2的：

1,1,a,1.0 
2,2,b,2.0 

豬腳本：

A = LOAD 'file1' USING PigStorage(',') AS (a:int, b:int); 
B = LOAD 'file2' USING PigStorage(',') AS (c:int, d:int, e:chararray, f:float); 

C = UNION ONSCHEMA A,B; 

結果：

DUMP C：

(1,1,,,,) 
(2,2,,,,) 
(,,1,1,a,1.0) 
(,,2,2,b,2.0) 

DESCRIBE C：

C: {a: int,b: int,c: int,d: int,e: chararray,f: float}