如何處理每分鐘請求從500到5000時的縮放比例

Question

我有一個應用程序，從500 rpm到5000，並在那裏停留20-30分鐘。我知道這並不是一大堆請求，但它的跳躍幅度讓我非常吃驚。 AWS-EC2需要5分鐘的時間來擴大規模，因此當事情進展如此之快時，這並沒有什麼幫助。也許多個數據庫處理應用程序的不同部分。

如果您在一分鐘內總是從500轉換到5000RPM或更高，您將如何去分析和思考基礎設施？

這是圖表從我的AWS日誌：

Answer 1

如果你能預測，需求將在某些時候你可以自動化新實例的供應增加。如果你不能確定這一點，那麼你需要做適當的容量規劃。例如，您需要運行多少個服務器/容器才能承受可接受的用戶體驗的負載？這將是決定的關鍵。

你也應該看看實施異步消息傳遞模式，卸載峯值，雖然這可能會帶來一些性能下降。

一個額外的考慮是轉向無服務器體系結構，如AWS Lambda。這可能不會完全解決問題，但會爲您提供更多的快速提供按需基礎架構的能力。