robots.txt的多个域(Robots.txt for multiple domains)

我们必须为每种语言不同的域

1. www.abc.com
2. www.abc.se
3. www.abc.de

然后，我们必须为每个站点不同sitemap.xml的。 在robots.txt的，我要为每个域添加站点地图的参考。

1. 是否有可能，这对于在单一的robots.txt每个域的多个站点地图引用？
2. 如果有多个，其中一个它挑？

Answer 1:

对robots.txt只能告知网站地图的搜索引擎为自己的域名。 这样一个将是唯一一个它时，它抓取该域的robots.txt荣誉。 如果所有三个域映射到相同的网站，并分享一个robots.txt那么搜索引擎将有效地找到每个站点地图。

Answer 2:

我使用的所有域重定向后在.htaccess以下解决方案和www到非www重定向。

# Rewrite URL for robots.txt
RewriteRule ^robots\.txt$ robots/%{HTTP_HOST}.txt [L]

创建你的根称为机器人一个新的目录。 创建充满特定机器人信息的每个域的文本文件。

• /robots/abc.com.txt
• /robots/abc.se.txt
• /robots/abc.de.txt

Answer 3:

基于Hans2103的回答，我写了这一个，应该是安全的，包括在几乎所有的Web项目：

# URL Rewrite solution for robots.txt for multidomains on single docroot
RewriteCond %{REQUEST_FILENAME} !-d # not an existing dir
RewriteCond %{REQUEST_FILENAME} !-f # not an existing file
RewriteCond robots/%{HTTP_HOST}.txt -f # and the specific robots file exists
RewriteRule ^robots\.txt$ robots/%{HTTP_HOST}.txt [L]

这改写条件应该只服务于正常robots.txt ，如果它的存在，只追求一个robots/目录中指定的文件robots/<domain.tld>.txt 。

注：以上重写还没有经过测试。 随时纠正我，如果你发现任何瑕疵; 我会更新这个职位在任何有帮助纠正意见备查。

文章来源: Robots.txt for multiple domains