當重新部署代碼

Question

時，Spark Streaming避免檢查點序列化問題，我們有一個Spark應用程序並啓用了檢查指向。

當我們做code re-deployment時，我們需要刪除檢查點目錄或者給其他一些檢查點目錄，所以會有數據丟失，因爲我們使用的是直接流式的方法。

我們可以用SerialVersionUID做什麼？如果我們在執行代碼重新部署時使用相同的SerialVersionUID，會發生什麼？

Answer 1

這是我們可以用SerialVersionUID做的事嗎？如果我們在執行代碼重新部署時使用相同的SerialVersionUID，會發生什麼？

不這樣做。由於您的代碼在版本之間不是二進制兼容的，因此這不會起作用，並且一般而言，您不想爲項目中的每個類手動分配一個序列版本，但不會擴展。

您將不得不刪除檢查點數據，這是流媒體的主要注意事項之一。您可以創建額外的bash腳本，以確保在版本升級的情況下刪除檢查點。

更好的是，如果您有配置管理系統，您可以直接將更新與刪除進行整合。