标题：哪些因素影响着网站的抓取与收录？
出处：北京SEO_北京SEO培训 - 【元创SEO】
时间：Sat, 19 Nov 2011 20:27:06 +0000
作者：元创
地址：http://www.yuan-chuang.cc/read.php/870.htm

内容：
哪些因素影响着网站的抓取与收录？

今天又看了一遍谷歌对网站抓取与收录的建议，我转载过来，肯定对大家有帮助！

1，网站的网址结构应尽可能简单些。 请考虑组织您的内容，让网址的构建合乎逻辑并易于理解（尽可能采用易读字词而非长的 ID 数字）。 

2，建议您在网址中使用标点符号。 网址 http:// www. **** .com/green-dress.h tm l 比网址 http: //w ww.****.com/greendress.h tml 对我们帮助大得多。 我们建议您在网址中使用连字符 (-) 而尽量避免使用下划线 (_)。

过于复杂的网址，特别是那些包含多个参数的网址，可能会给抓取工具带来麻烦，因为它们可能会产生大量不必要的网址，全都指向您网站上相同或相似的内容。 Googlebot 可能会因此而消耗大量不必要的带宽，也可能无法为您网站的所有内容编制完整索引。

此问题的常见原因

导致网址过多可能有多种原因， 其中包括：

1，一组项目的累加过滤。很多网站对同一组项目或搜索结果提供不同的视图，这样一般可以让用户使用定义的标准对其进行过滤（例如：显示海景酒店）。 当以累加模式组合过滤器时（例如：带健身中心的海景酒店），网站中网址（数据视图）的数量就会急剧增加。 因为 Googlebot 只需查看少量能用来访问各个酒店网页的列表即可，所以没有必要创建大量区别不大的酒店列表。 

2，动态生成文档。 由于计数器、时间戳或广告影响，这可能会产生少量变化。 

3，网址中有问题的参数。例如，会话 ID 可以产生大量的重复项目和更多的网址。 

4，排序参数。某些大型购物网站会提供多种方式来排序相同的项目，因此造成网址数量急剧增大。 例如： 

5，日历问题。动态生成的日历可能会生成指向未来及过去日期的链接，而这些日期没有开始日期和结束日期。  为避免网址结构发生潜在的问题，谨建议如下： 

建议您使用 robots.txt 文件阻止 Googlebot 访问有问题的网址。 通常情况下，建议您拦截动态网址，例如生成搜索结果的网址或产生死循环的网址（如日历）。 在 robots.txt 文件中使用正则表达式可以很容易地拦截数量较大的网址。 
尽可能避免在网址中使用会话 ID， 建议您使用 Cookie 代替。 请参阅我们的网站管理员指南了解更多信息。 
通过截掉不必要的参数尽量缩短网址。 
如果您的网站具有未设置期限的日历，请为指向自动创建的未来日历页的链接添加 nofollow 属性。 
检查网站是否有损坏的相对链接。 SEO培训




Generated by Bo-blog 2.1.1 Release