爲序列創建序列（seq2seq）張量流模型？

Question

我有一個訓練有素的tensorflow seq2seq 30個時代的模型，併爲每個時代保存了一個檢查點。我現在想要做的就是將這些檢查點中最好的X（基於開發集合上的結果）相結合。具體而言，我正在尋找一種方法，讓我平均不同的模型權重，並將它們合併成可用於解碼的新模型。然而，似乎並沒有一套方法，加載不同的模型可能有點棘手。但即使這個成功，我也無法找到一個很好的答案，如何在新模型中組合權重。

任何幫助將不勝感激。

相關問題（不足夠，我認爲回答）：

Building multiple models in the same graph

How to load several identical models from save files into one session in Tensorflow

How to create ensemble in tensorflow?

Answer 1

做幾個模型的權重的平均值，以產生一個新的不太可能產生有用的結果。

舉一個簡單的例子，考慮像AlexNet這樣的傳統CNN。它的第一層將包含一系列2d過濾器，以尋找不同的圖像特徵。對於你從零開始訓練的每個模型，過濾器中可能會出現類似的特徵，但是它們發生的順序會有很大的不同，所以僅僅平均權重就會破壞大部分信息。