我们的网站是由“搜狗网络蜘蛛”越来越多的点击，所以我们想到了用htaccess的规则，阻止它的。 我们创建下面规则 -
RewriteCond %{HTTP_USER_AGENT} Sogou [NC]
RewriteRule ^.*$ - [L]
但是我们仍然从搜狗越来越命中。 我想知道我应该在这个规则来阻止搜狗什么样的变化。
感谢您，
Answer 1:
作为@faa提到的，你没有真正阻挡任何东西：
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} Sogou [NC]
RewriteRule ^.*$ map.txt [R=403]
请确保你有RewriteEngine叙述在和[R = 403]。
您仍可能会看到他们的命中您的访问日志但不发送任何数据的组合和403禁止头，你应该看到的命中最终死亡了。 即使继续抓取您的网站，应该不再生成您的服务器上如此多的额外负担。
文章来源: sogou spider still hitting our website even after blocking it
