寻找建议，因为涉及的robots.txt，我们不想去错在不包括整个网站
是下面的命令容易排除用反斜杠所有的URL在URL编码
Disallow: /*\
它只会排除网址的有反斜杠或22％的网站的网址路径。 有过一些网页索引用反斜杠和未来作为在谷歌网站管理员重复。
请问上面的命令不会妨碍或阻止网站与反斜线搜索引擎在任何一个或任何一种方式，除了网址吧
Answer 1:
要更新中，我们通过运用而通过301重定向htaccess的，而不是通过robots.txt拒绝解决它
文章来源: Robots Excluding url with special character
