http://www.yuan-chuang.cc/index.php zh-cn http://www.yuan-chuang.cc/read.php/76.htm 元创 <admin@yourname.com> Sat, 03 Jan 2009 09:06:01 +0000 http://www.yuan-chuang.cc/read.php/76.htm
什么是"网址受到 robots.txt 的限制"错误？
Google 因受 robots.txt 限制而无法抓取此网址。这种情况可能是由多种原因造成的。例如，您的 robots.txt 文件可能完全禁止 Googlebot；可能禁止对此网址所在目录的访问，也可能特别禁止访问此网址。通常，这并不属于错误。您可能专门设置了一个 robots.txt 文件来阻止我们抓取此网址。如果是这种情况，则无需更正；我们将继续遵循此文件的 robots.txt。

如果一个网址重定向到一个被 robots.txt 文件拦截的网址，则第一个网址会报告为被 robots.txt 拦截（即使该网址在 robots.txt 分析工具中列为"允许"）。

在google管理员工具中分析robots.txt ,如果受到限制，

如：
User-agent: *
Disallow: /plus/feedback_js.php
Disallow: /plus/mytag_js.php
Disallow: /plus/stow.php
Disallow: /plus/count.php

这些受到限制，想不受限制，删除即可！！

Tags - robots.txt限制 ]]> http://www.yuan-chuang.cc/read.php/76.htm#blogcomment2188 北京SEO <user@domain.com> Mon, 08 Aug 2011 08:32:39 +0000 http://www.yuan-chuang.cc/read.php/76.htm#blogcomment2188 http://www.yuan-chuang.cc/read.php/76.htm#blogcomment9873 元创 <user@domain.com> Fri, 10 Feb 2012 05:39:56 +0000 http://www.yuan-chuang.cc/read.php/76.htm#blogcomment9873