Tensorflow，節點已經死了

Question

我正在學習tensorflow過程，但是有很多難以理解的過程。

1. 我不完全理解的術語之一是關於節點。在源代碼（C++核心）中，有許多不同類型的節點。不過，我對死亡節點感到好奇。它會和常量節點不同。我想知道死亡節點存在的原因，換句話說，死亡節點的作用。

2. 什麼是實時數據vs死亡數據？這就像沒有使用過的數據和已經使用過的數據？ ......我想我對這個詞還沒有完全理解。它可以在功能ActivateNodes（）（executor.cc）

顯示在我認爲這些問題可以是研究tensorflow如此基本，但是我想確切地知道。

感謝

Answer 1

首先，死者張量TensorFlow的控制流結構的實現細節：tf.cond()和tf.while_loop()。這些構造使TensorFlow能夠確定是否基於數據相關值執行子圖。

讓我們考慮更簡單的tf.cond(pred, true_fn, false_fn)的情況。 pred的值確定是否將執行true_fn或false_fn中的操作。在當前的實施中，pred饋送到Switch op，其在一個輸入上發送常規張量並在另一個輸入上發送死張量。如果pred爲真，則將死張量沿output_false發送（反之亦然）。tf.cond()實施已設置，以便true_fn中的操作依賴於output_true，而false_fn中的操作取決於output_false。

當張量收到死張量作爲其輸入之一時，它不執行;相反，它會在其所有輸出中發送一個死張量。這種死張量傳播確保只有適當分支中的操作纔會執行。

tf.cond()如何阻止死張量一直傳播到輸出？第二個特殊操作，稱爲Merge op以不同的方式處理死輸入。 A Merge op具有兩個或更多個輸入，並且它期望得到除輸入的一個之外的所有的死輸入;然後它將未死輸入轉發給它的輸出。 tf.cond()使用Merge運算符合並來自true_fn和false_fn的結果，因此所採用分支的結果作爲整體tf.cond()子圖的輸出返回。