塊蜘蛛機器人除了一個

Question

我有一個網站，每天在不同的小時蜘蛛機器人掃描我的網站與semrush。

我可以通過htaccess阻止用戶代理，但現在在星期天我用semrush掃描我的網站以獲得一些改進。

因此，如果我阻止semrush用戶代理我阻止自己，IP是每一個不同，因爲它是從semrush。

有沒有辦法阻止除我以外的所有semrush用戶代理？

感謝

Answer 1

您可以使用以下規則來阻止用戶代理，再加上這排除了您的知識產權，並不會與用戶代理阻止你。

RewriteEngine on 
RewriteCond %{HTTP_USER_AGENT} semrush [NC] 
RewriteCond %{REMOTE_ADDR} !^yourIP$ 
RewriteRule^- [F]