神經網絡：約束某些輸入節點對某些輸出節點的貢獻

Question

我想使用神經網絡來學習輸入向量和輸出向量的映射。該問題的物理特性具有約束條件，即某些輸入節點只對某些輸出節點有影響。我想在訓練中使用這個約束。

如果我配製NN作爲一個有向圖，我想從特定輸入節點被「封端」輸出節點的路徑，並且該錯誤消息不應該通過這些路徑回傳播。例如，在下圖中，我展示了一個具有2個輸入和2個輸出節點的NN。輸入節點1不應該對輸出4有任何影響，因此從節點1到4的任何路徑（如虛線所示）都不應具有反向支持。

我不能簡單一些邊緣/重量設置爲零，以滿足約束條件，因爲約束是上的路徑，而不是在單個邊緣/重量。

我很欣賞的人分享想法和經驗，在這個問題上。也許這是一個深思熟慮的問題，但經過艱苦的搜索後我沒有找到任何東西。

Answer 1

有趣的案例。恐怕神經網絡不能像這樣工作。圖層被認爲是獨立的：前向和後向通道流過所有可用的連接，並且每個層不知道當前張量如何累積。

你選擇在建築方面是阻止單個連接，像DropConnect，但沒有隨機性，如果可能的話。

您也可以考慮每個輸出的單獨網絡，例如，一個網絡，其中(1, 2)預測3，和另一網絡，其中2預測4。這樣，你強制你的約束，但失去了不同網絡之間的分享權重，這是不理想的。

另一種選擇：我可以想象，你可以增加數據集，以便網絡實際上得知某些輸入不影響某些輸出。根據您的實際問題，這可能是耗時的，但至少在理論上它可能工作：對於給定的輸入/輸出對(1, 2) -> (3, 4)您可以添加一些額外的對(1*, 2) -> (3*, 4)表明，改變1影響第一輸出3*，而不是第二個4。