1
我有一個由3個步驟組成的mrjob。 第二步需要輸入第一步的結果以及S3中的更多內容。是否可以將其他輸入添加到mrjob的後續步驟?
我明白,我總是可以通過第一步「流」它,這意味着發射是如此,只在第二步中使用它,但我想避免這種情況。
有沒有辦法爲mrjob中的後續步驟定義附加輸入?
我有一個由3個步驟組成的mrjob。 第二步需要輸入第一步的結果以及S3中的更多內容。是否可以將其他輸入添加到mrjob的後續步驟?
我明白,我總是可以通過第一步「流」它,這意味着發射是如此,只在第二步中使用它,但我想避免這種情況。
有沒有辦法爲mrjob中的後續步驟定義附加輸入?
相反分組的步驟到一個單一的工作,你可以考慮使用一個持久的工作流之前,你的任務分成部分和輔助輸入後: