根據數據存儲篩選大型數據集的最佳方法

Question

我目前正在實現提供遊戲社交功能的Web服務。這種遊戲功能之一是管理好友列表的能力。用戶可以添加的朋友取決於他在他選擇的外部社交網絡（當前是Facebook或Twitter）上的聯繫人。

系統的當前行爲如下：

• 客戶端應用程序使用的社交網絡（Facebook或Twitter）API來獲取玩家的聯繫人列表。
• 每個這種接觸提供了一個獨特的識別碼（即社交網絡他源自，它這個社交網絡上的標識，如「Tw12345」）。
• 客戶端將所有這些標識符的列表發送到GAE上託管的遊戲Web服務。
• Web服務檢查每個標識符是否有用戶在他自己的數據庫中匹配。
• 它返回一個標識符列表，過濾後只包含那些在遊戲數據庫中也有匹配的標識符。

這顯然不能很好地工作，因爲大多數用戶的聯繫人列表是巨大的。服務器花費大量時間檢查數據庫以篩選哪個聯繫人具有匹配的遊戲帳戶。現在

，我有一個很難搞清楚我如何才能更有效地進行。由於標識符未遵循任何給定順序，因此我無法使用整數操作來選擇數據庫上的用戶。另外，我不能依靠Twitter或Facebook來進行他們的過濾，因爲這不受他們的API支持。我想到一個系統使用某種memcached數據樹來存儲「已知」標識符列表（因爲查詢只需要知道有一個匹配的用戶，而不是哪個用戶完全匹配），但我'害怕高速緩存在任何時候被清除時需要花費的時間。

如果你們有這樣一套相關的麻煩的經驗，我會很高興聽到它！謝謝！

Answer 1

我認爲這很慢，因爲您正在爲每個查找的用戶查詢。您可以避免使用密鑰名稱來完成此操作。

對於數據庫中的每個用戶，與他們的鍵名插入實體設置爲社交網絡的唯一標識。這些可以是您已經使用的相同實體，也可以是專爲此創建的新「索引」實體。

當發送標識符的列表，只需做一個批量get操作該實體的所有鍵名，以確定他們是否存在 - 例如，通過做MyKind.get_by_key_name(key_names)。