我使用笨存储在我的数据库会话。 在一段短的时间,大量的会话是通过机器人/蜘蛛等创建
有没有防止这种方式? 也许通过的.htaccess?
我使用笨存储在我的数据库会话。 在一段短的时间,大量的会话是通过机器人/蜘蛛等创建
有没有防止这种方式? 也许通过的.htaccess?
首先,你应该在域中创建的Web根解决两个问题robots.txt文件。 首先要控制在该网站正在爬的速度,它可以帮助防止机器人/蜘蛛从在同一时间创建数据库连接的数量庞大。 其次,以防止特定的漫游器抓取网站。 使用下面的默认值,但您可能需要添加或删除代理人否认了用户,并调整抓取速度
示例代码:
User-agent: *
Crawl-delay: 10
User-agent: Baiduspider
Disallow: /
User-agent: Sosospider
Disallow: /
使用/robots.txt的时,有两个重要的因素: