泊塢窗服務在一段時間後停止通信

Question

我在一起在Docker羣中運行6個容器。 Kafka + Zookeeper，MongoDB，A，B，C和界面。接口是公共的主要接入點 - 只有此容器發佈端口 - 5683.接口容器在啓動過程中連接到A，B和C.我正在使用docker-compose文件+ docker stack deploy，每個服務都有一個用作接口主機的名稱。一切都開始成功，工作正常。經過一段時間（20分鐘，1小時，..）我無法提出接口請求。接口收到我的請求，但應用程序與服務A，B，C或全部服務失去連接。如果我重新啓動界面，它可以重新連接到服務A，B，C。

我首先想到讓我暴露在每個服務（接口，A，B，C）2個新港口，並與分析器和調試器將它們連接它的應用的問題。應用程序運行正常，沒有泄漏，沒有阻塞的線程，正常工作和等待連接。調試器告訴我，當我向接口和接口請求嘗試請求服務A時，拋出了由同級異常重置的連接。

在調試過程中，我發現有趣的東西。當服務啓動並且調試器在一段時間後斷開連接時，我將調試器連接到接口。 +我無法重新連接，直到向容器 - >應用程序發出請求。問題 - 握手失敗。

，我發現了另一個有趣的事情是，我無法要求既不接口。所以我用wireshark來看看發生了什麼，並且：SYN - ACK很好。然後應用程序發佈一些數據和接口以FIN，ACK進行響應。我認爲這也發生在接口試圖請求服務A並且它終止連接時。接口的代碼庫，A，B和C對於netty服務器是一樣的。

最後，我不認爲這是一個應用程序問題。爲什麼？我試圖將容器部署爲不作爲服務。我分別運行每個容器，發佈每個端口的服務端點和設置爲localhost。 （不覆蓋網絡）。它正在工作。容器運行沒有問題。 +在開始時我並沒有說過，當java應用程序（接口，A，B，C）作爲獨立應用程序運行時沒有問題，而不是在docker中運行。

你能幫我解決這個問題嗎？爲什麼碼頭在覆蓋網絡的情況下關閉套接字？

我正在使用最新的碼頭。我也用得比較老。

Answer 1

最後，我能夠解決這個問題。

發生了什麼，還有一次。接口打開與A，B，C的永久TCP連接。當您嘗試將這些服務A，B，C作爲獨立的Java應用程序運行時，一切都正常。當我們將它們碼頭化並在羣集中運行時，它只能工作幾分鐘。奇怪的是，當你向客戶端發出一個請求時，Interface和另一個服務之間的連接中斷了。

經過很多很多不成功的測試和調試每個容器我想單獨運行每個泊塢窗的容器中，映射端口和端點我指定本地主機。 （每個容器暴露的端口和接口連接到本地主機）有趣的事情發生，它正在工作。當你像這樣運行容器時，使用不同的容器網絡驅動程序。橋一個。如果您在羣集中運行它，則會使用覆蓋網絡驅動程序。

所以它必須是一些與泊塢窗的網絡，而不是與應用程序本身。接下來的步驟是幾分鐘後從每個容器運行tcpdump，此時應停止工作。它很有意思。

• 客戶端 - >接口（OK，請求接受）
• 接口 - >（前向請求，因爲它屬於A）
  • 接口 - > A [POST]
  • A - >接口[RESET]

A被正在重置幾分鐘而不通信之後打開TCP通信。爲什麼？

Docker使用IP虛擬服務器，IPVS維護自己的連接表。 IPVS表中CLOSE_WAIT連接的默認超時值爲60秒。因此，當服務器在60秒後發送某些內容時，IPVS連接不再可用，並且該數據包對於新的TCP會話看起來無效並且獲得RST。在客戶端，連接永遠保持在FIN_WAIT2狀態，因爲應用程序仍然打開套接字;內核的fin_wait定時器僅爲孤立的TCP套接字啓用。

這是我讀到的，它是如何理解的。我不確定我對問題的解釋是否正確，但基於這些假設，我在界面和A，B，C服務之間實現了乒乓，以防在沒有通信的情況下60秒。而且，它正在工作。