處理Hadoop中的更新記錄

Question

每天來自oracle的'user'表都被轉儲到HDFS中。轉儲僅包含上次轉儲後所做的最新更改（插入和更新）。現在我想使用PIG將所有日常轉儲加載到關係中，並使用'userid'字段將其與Transaction文件結合。問題在於更新的記錄。同一用戶可以有多個記錄。我只想在進行連接時使用最近的用戶記錄。我們應該怎麼做。任何幫助表示讚賞。謝謝。

Answer 1

您需要對更新文件進行分組，按日期排序並選擇第一個，然後加入。像下面的代碼應該讓你的最新更新

A = LOAD 'user_updates'...; 
A_Users = GROUP A BY user_id; 
A_TOP = FOREACH A_Users { 
    sorted = ORDER A BY update_time DESC; 
    top_one = LIMIT sorted 1; 
    GENERATE top_one; 
};