如何評估基於內容的推薦系統

Question

我正在構建基於內容的電影推薦系統。很簡單，只需讓用戶輸入電影標題，系統就會找到具有最相似功能的電影。

計算出相似度並按降序排列得分後，我找到了5個相似度最高的相應電影並返回給用戶。

當我想評估系統的準確性時，一切都運行良好。我在Google上發現的一些公式只是根據評分值評估準確性（比較預測評級和RMSE等實際評級）。我沒有將相似性分數更改爲評分（從1到5），所以我不能應用任何公式。

您能否提出任何方法將相似性分數轉換爲預測評分，以便我可以應用RMSE？或者有沒有解決這個問題的想法？

Answer 1

你有任何事實嗎？例如，您是否有關於用戶過去喜歡/看到/購買的電影的信息？它不一定是評級，但爲了評估建議，您需要了解有關用戶偏好的一些信息。

如果這樣做，那麼除了RMSE之外，還有其他方法可以測量精度。當我們預測評級時使用RMSE（正如您所說的是真實評級與預測之間的誤差），但在您的情況下，您正在生成最佳N個建議。在這種情況下，您可以使用精確度和召回率來評估您的建議。它們非常適用於信息檢索應用程序（請參閱Wikipedia），它們在推薦系統中也很常見。您還可以計算F1度量，這是精度和召回的調和平均值。你會看到他們是非常簡單的公式，很容易實現。

Guy Shani撰寫的「評估推薦系統」是一篇關於如何評估推薦系統的非常好的論文，並且能夠讓你深入瞭解這一切。您可以找到紙張here。