如何防止机器人在笨创建会话?(How to prevent bots from creating s

2019-10-17 04:48发布

我使用笨存储在我的数据库会话。 在一段短的时间,大量的会话是通过机器人/蜘蛛等创建

有没有防止这种方式? 也许通过的.htaccess?

Answer 1:

首先,你应该在域中创建的Web根解决两个问题robots.txt文件。 首先要控制在该网站正在爬的速度,它可以帮助防止机器人/蜘蛛从在同一时间创建数据库连接的数量庞大。 其次,以防止特定的漫游器抓取网站。 使用下面的默认值,但您可能需要添加或删除代理人否认了用户,并调整抓取速度

示例代码:

User-agent: *
Crawl-delay: 10

User-agent: Baiduspider
Disallow: /

User-agent: Sosospider
Disallow: /

使用/robots.txt的时,有两个重要的因素:

  1. 机器人可以忽略你的/robots.txt。 尤其是恶意软件的机器人,扫描网络的安全漏洞及电子邮件地址收割机使用的垃圾邮件发送者不会理会。
  2. 该/robots.txt的文件是一个公开的文件。 任何人都可以看到你不想机器人使用的部分服务器的。


文章来源: How to prevent bots from creating sessions in CodeIgniter?