假設我有下面的一組記錄(保存爲實木複合地板):使用豬的MultiStorage嵌套結構
01, John, 250
01, John, 260
01, Daniel, 300
01, Daniel, 400
02, John, 250
02, John, 260
02, Daniel, 300
02, Daniel, 400
如何使用豬來創建此嵌套的文件夾結構
-- 01
-- * Daniel
-- * John
-- 02
-- * Daniel
-- * John
我知道我可以使用
MultiStorage('output/pig_results', '0', 'none', ',');
用於動態分割第一列的數據,但是如何拆分數據動態由兩列? 此外,當我使用MultiStorage時,輸出爲csv,並且我想要保存我的實木複合地板存儲
如果要將數據按兩列拆分,然後合併column1和column 2,然後應用MultiStorage函數。 – Pratik
我有這個建議的兩個問題 1.最終結果將是一個平面文件夾結構(01 - 丹尼爾,01 - 約翰等) 2.我不能使用該方法輸出數據Parquet – Dan
你可以寫一個簡單的python UDF做同樣的工作 – pratiklodha