网址受到 robots.txt 的限制 解决办法? 不指定

元创 , 2009/01/03 17:06 , SEO知识库 , 评论(2) , 阅读(9848) , Via 本站原创 | |
网址受到 robots.txt 的限制 解决办法?

什么是"网址受到 robots.txt 的限制"错误?
Google 因受 robots.txt 限制而无法抓取此网址。这种情况可能是由多种原因造成的。例如,您的 robots.txt 文件可能完全禁止 Googlebot;可能禁止对此网址所在目录的访问,也可能特别禁止访问此网址。通常,这并不属于错误。您可能专门设置了一个 robots.txt 文件来阻止我们抓取此网址。如果是这种情况,则无需更正;我们将继续遵循此文件的 robots.txt。

如果一个网址重定向到一个被 robots.txt 文件拦截的网址,则第一个网址会报告为被 robots.txt 拦截(即使该网址在 robots.txt 分析工具中列为"允许")。

在google管理员工具中分析robots.txt ,如果受到限制,

如:
User-agent: *
Disallow: /plus/feedback_js.php
Disallow: /plus/mytag_js.php
Disallow: /plus/stow.php
Disallow: /plus/count.php

这些受到限制,想不受限制,删除即可!!
元创
2012/02/10 13:39
受 robots.txt 限制
北京SEO
2011/08/08 16:32
网址受到 robots.txt 的限制
分页: 1/1 第一页 1 最后页
发表评论

昵称

网址

电邮

打开HTML 打开UBB 打开表情 隐藏 记住我 [登入] [注册]