在線預測的高延遲問題

Question

我已經在Google Machine Learning Engine上部署了用於分類的線性模型，並且希望使用在線預測來預測新數據。

當我使用Google API客戶端庫調用API時，花費大約0.5秒的時間纔得到僅有一個實例的請求的響應。我預計延遲應該小於10微秒（因爲模型非常簡單），而0.5s太長了。我還嘗試使用predict_proba方法對新數據進行離線預測。獲得超過10萬次的實例花費了8.2s，比使用Google ML引擎要快得多。有沒有一種方法可以減少在線預測的延遲？發送請求的模型和服務器託管在同一個區域中。

我想實時做出預測（在API獲取請求後立即返回響應）。 Google ML Engine是否適合此目的？

Answer 1

一些更多的信息將是有益的：

1. 你可以測量從您正在訪問的服務GCP本機的網絡延遲？如果您從與部署模型相同的區域中的計算引擎實例調用，則延遲時間最低。

2. 你可以發佈你的通話代碼嗎？

3. 這是第一個請求或每個請求的延遲嗎？

爲了回答您的最終問題，是的，雲端引擎旨在支持每秒高的查詢速度。