2011-06-09 79 views
4

我想在Hadoop的幫助下訓練一個神經網絡。我們知道在訓練神經網絡時,每次迭代都會改變每個神經元的權重,並且每次迭代都依賴於前一次迭代。我是Hadoop的新手,對其提供的功能不太瞭解。我可以用方法addDependingJob()的幫助來鏈接迭代,強調依賴性嗎?或者在Hadoop的幫助下可以使用其他技巧來實現NN。我可以使用hadoop訓練一箇中性網絡嗎?

任何意見將不勝感激。

感謝和最好的問候。

+1

我認爲在Mahout郵件列表上有一個建議,但是從未實現:https://issues.apache.org/jira/browse/MAHOUT-364。最後我聽說人們正在尋找Hadoop的Neuroph(http://neuroph.sourceforge.net/)插件。 – diliop 2011-06-09 18:23:00

+0

我聽說Neuroph的東西被接受爲GSoC項目,但除此之外我不知道。 – ajduff574 2011-06-09 20:05:39

+0

@diliop謝謝,那個鏈接是有道理的。:-) – 2011-06-10 11:01:14

回答

3

你可以自己寫。如果你知道如何從零開始編寫單核的Bacvk傳播。它可以很容易地遷移到Mapreduce方法。 HDFS緩存應該存儲當前的神經元權重,並且每個地圖作業應該在訓練實例中評估它們的更新,然後減少應該總結所有這些更新並將它們放入cachce。