阿帕奇豬的解釋功能

我想了解豬的explain功能（link）。阿帕奇豬的解釋功能

假設下面的例子：

A = load 'numbers' using PigStorage(',') as (name, age); 
explain A;

這給了我：

#----------------------------------------------- 
# New Logical Plan: 
#----------------------------------------------- 
A: (Name: LOStore Schema: name#5:bytearray,age#6:bytearray) 
| 
|---A: (Name: LOLoad Schema: name#5:bytearray,age#6:bytearray)RequiredFields:[0, 1] 
#----------------------------------------------- 
# Physical Plan: 
#----------------------------------------------- 
A: Store(fakefile:org.apache.pig.builtin.PigStorage) - scope-1 
| 
|---A: Load(file:///...pig-0.14.0/numbers:PigStorage(',')) - scope-0 

2014-12-07 15:07:10,596 [main] INFO org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MRCompiler - File concatenation threshold: 100 optimistic? false 
2014-12-07 15:07:10,609 [main] INFO org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MultiQueryOptimizer - MR plan size before optimization: 1 
2014-12-07 15:07:10,610 [main] INFO org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MultiQueryOptimizer - MR plan size after optimization: 1 
#-------------------------------------------------- 
# Map Reduce Plan         
#-------------------------------------------------- 
MapReduce node scope-2 
Map Plan 
A: Store(fakefile:org.apache.pig.builtin.PigStorage) - scope-1 
| 
|---A: Load(file:///.../pig-0.14.0/numbers:PigStorage(',')) - scope-0-------- 
Global sort: false 
----------------

我可以在這裏看到？我覺得輸出很混亂。

來源

2014-12-07 user1170330

http://chimera.labs.oreilly.com/books/1234000001811/ch07.html#describe – 2014-12-08 04:55:33

它告訴你豬的步驟。在你的情況下，它解釋瞭如何通過加載數據填充別名A，並且因爲你沒有對它進行任何操作，而是進入「僞文件」。它描述了流程以及它如何闖入地圖/減少

正如你可能看到的那樣，它真的很快就會變得混亂。您可能想要看看Netflix的Lipstick以獲得更平易近人的作品

來源

2014-12-08 10:31:03

阿帕奇豬的解釋功能

回答

相關問題