豬羣添加

Question

我有數據文件拆分「|」所以我使用下面的代碼。

RAW_LOG = LOAD 'logs.log' USING TextLoader as (line:chararray); 
    splt = foreach RAW_LOG generate FLATTEN(STRSPLIT($0, '\\|')); 
    id_vals = foreach splt generate $4 as uid, $8 as site_id , $9 as dsid , $6 as amt; 

我想sum（amt）每個site_id，我試過group by但沒有工作。

Answer 1

我假設你想最終的結果是兩個欄目site_id和該site_id amt的總和。

您可以使用PigStorage直接加載管道分隔文件，無需加載然後拆分。儘管可以使用$來訪問元素，但提供模式定義會很好。

這裏是代碼 -

RAW_LOG = LOAD 'logs.log' USING PigStorage('|') as (//YOUR SCHEMA DEFINITION); 
SITE_GRP = group RAW_LOG by site_id; 
SITE_SUM = foreach SITE_GRP generate group, SUM(RAW_LOG.amt); 

希望這有助於。