为限制（特定）查询字符串（参数）值机器人的访问？(Restrict robot access for

使用的robot.txt是可以限制为（特定的）查询字符串（参数）值机器人访问？

即

http://www.url.com/default.aspx  #allow
http://www.url.com/default.aspx?id=6  #allow
http://www.url.com/default.aspx?id=7  #disallow

Answer 1:

User-agent: *
Disallow: /default.aspx?id=7  # disallow
Disallow: /default.aspx?id=9  # disallow
Disallow: /default.aspx?id=33 # disallow

etc...

你只需要指定要禁止的网址。 一切是默认允许的。

Answer 2:

刚刚查询变量可以定义如

禁止：/default.aspx?id=*

或更好

禁止：/？ID =

文章来源: Restrict robot access for (specific) query string (parameter) values?