难道机器人抓取的I帧?(Do robots crawl iframes?)

2019-07-18 17:59发布

它是常见的机器人抓取iframe内? 和他们怎么办呢? 难道他们索引它即刻还是他们只是“记住”的网址,并继续有时以后呢?

Answer 1:

如果有一个href / src目录链接索引的地方(即抓取 )HTML / XHTML页面,它会被索引。 无论在页面通过iframe呈现给用户是无关紧要的。



Answer 2:

正如其他人指出的I帧容易抓取。 不过,我想澄清, 你的页面不会得到“信用”为内容的iframe。 所以,你的网页实际上不会得到索引为包含内容 - 它仅仅是一个跳板爬虫索引的iframed网页上,并直接链接到它。 这是很重要的理解,如果在iframe指向的内容是不是在您的域,你期望利用iframe的内容为自己的网页的知名度。 从你的问题不知道是否这是你的意图。



Answer 3:

我可以想象这样; 我知道Googlebot便。

如有疑问,您可以控制使用robots.txt和你的页脚一些额外的链接的东西。 看看链接下来在这个页面的底部,例如。



Answer 4:

一个IFRAME只是包含HTML内容像任何其他HTML页面。
所以,是的引擎机器人将抓取。

你可能希望他们抓取,因为这可能是您的内容。
然而,你可能不希望用户直接访问你的网站在框架中。

所以,你可能要检测的情况下框架。 所以,你会使用JavaScript来增加他们,他们不存在。

<script type="text/javascript">
    if (top.frames.length==’0′) {
        window.location.replace("Appropriate url with frames");
    }
</script>

作为最后的评论,我建议你不要使用框架 。 他们强烈不推荐,因为他们是绝对反对任何无障碍政策。
他们让没有在他们的主页看到的任何内容您的网站。 因此,它显然不利于你的排名。

如果你能避开他们,这样做(和你总是可以)。



文章来源: Do robots crawl iframes?
标签: iframe robot