將大型csv文件導入到AWS ECS容器上的Rails應用程序時出錯

我嘗試上傳包含2700行的csv，並且我的服務（在AWS上的Docker容器中運行）在幾秒鐘後停止運行，但上載完成（全部數據存在於我的數據庫中）。日誌（cloudwatch）不顯示任何錯誤，而是服務停止並重新啓動（有時成功，有時不成功）。將大型csv文件導入到AWS ECS容器上的Rails應用程序時出錯

我發現了一個類似的問題，Heroku有here，答案說Heroku在所有請求上都有30秒的超時，A.W.S有類似的東西嗎？如果不能如何克服這一點，因爲在我的工作場所CSV上傳頻繁。

謝謝。

來源

2017-08-24 Mark20

您的碼頭集裝箱是在負載平衡器後面嗎？如果是這樣，它是一個應用程序負載平衡器？ – arvymetal

@arvymetal是的，我發現這個問題，健康檢查失敗，因爲它似乎軌道4.2.6（在生產）使用單線程。在讀取（CSV）和寫入（數據庫）期間，它不能做任何事情。我通過處理上傳和寫入新線程來解決問題。 – Mark20

我建議使用sidekiq來批量上傳數據。它在後臺完成這項工作。此外，我已經運行的問題，即使sidekiq停止，如果你面臨類似的問題，那麼我會建議上帝寶石用於sidekiq監測目的。關於AWS的超時信息請看看這個。 Elastic Load Balancing

來源

2017-08-24 10:50:50

將大型csv文件導入到AWS ECS容器上的Rails應用程序時出錯

回答

相關問題