http://www.yuan-chuang.cc/index.php zh-cn http://www.yuan-chuang.cc/read.php/.htm 元创 <> Fri, 19 Dec 2014 01:56:42 +0000 http://www.yuan-chuang.cc/read.php/.htm 新链接重要程度判断

    好啦，上面我们说了影响Baiduspider正常抓取的原因，下面就要说说Baiduspider的一些判断原则了。在建库环节前，Baiduspide会对页面进行初步内容分析和链接分析，通过内容分析决定该网页是否需要建索引库，通过链接分析发现更多网页，再对更多网页进行抓取——分析——是否建库&发现新链接的流程。理论上，Baiduspider会将新页面上所有能“看到”的链接都抓取回来，那么面对众多新链接，Baiduspider根据什么判断哪个更重要呢？两方面：

第一，对用户的价值：
        1，内容独特，百度搜索引擎喜欢unique的内容
        2，主体突出，切不要出现网页主体内容不突出而被搜索引擎误判为空短页面不抓取
        3，内容丰富
        4，广告适当

第二，链接重要程度：
        1，目录层级——浅层优先
        2，链接在站内的受欢迎程度

相关文章：
哪些网页无法建入索引库
百度优先建重要库的原则
新链接重要程度判断
造成Baiduspider抓取异常的原因
Baiduspider抓取频次原则及调整方法
Baiduspider抓取过程中涉及的网络协议
Baiduspider 主要抓取策略类型
Spider抓取系统的基本框架

Tags - 百度搜索引擎工作原理 ]]> http://www.yuan-chuang.cc/read.php/.htm#blogcomment <user@domain.com> Thu, 01 Jan 1970 00:00:00 +0000 http://www.yuan-chuang.cc/read.php/.htm#blogcomment