R-Hadoop mapreduce中是否有任何方法，類似於Java mapreduce中的setup（）和cleanup（）？

Question

R-Hadoop mapreduce中是否有任何方法，類似於Java mapreduce中的setup（）和cleanup（）？在啓動所有reducer之前，我只需運行一次諸如db調用的代碼的一部分。使用R編寫mapreduce代碼時是否有任何規定要做？

Answer 1

如果你在談論rmr2，那沒有。如果您詳細介紹了您的使用案例，即使我失敗了，我也可以嘗試考慮替代方案或學習一些東西。我假設此數據庫訪問需要在映射和減少之間發生，但瞭解數據庫操作是否依賴於映射階段的輸出以及減少階段是否取決於數據庫操作的結果很重要。從我的經驗來看，這是一個非常獨特的要求，在我看來，您必須通過兩項工作來解決這個問題，一個地圖只有一個，另一個只能減少。