http://www.yuan-chuang.cc/index.php zh-cn http://www.yuan-chuang.cc/read.php/1004.htm 元创 <> Fri, 19 Dec 2014 01:57:36 +0000 http://www.yuan-chuang.cc/read.php/1004.htm 哪些网页无法建入索引库
    上述优质网页进了索引库，那其实互联网上大部分网站根本没有被百度收录。并非是百度没有发现他们，而是在建库前的筛选环节被过滤掉了。那怎样的网页在最初环节就被过滤掉了呢：
        1， 重复内容的网页：互联网上已有的内容，百度必然没有必要再收录。
        2， 主体内容空短的网页
        1）有些内容使用了百度spider无法解析的技术，如JS、AJAX等，虽然用户访问能看到丰富的内容，依然会被搜索引擎抛弃
        2）加载速度过慢的网页，也有可能被当作空短页面处理，注意广告加载时间算在网页整体加载时间内。
        3）很多主体不突出的网页即使被抓取回来也会在这个环节被抛弃。
        3， 部分作弊网页

相关文章：
哪些网页无法建入索引库
百度优先建重要库的原则
新链接重要程度判断
造成Baiduspider抓取异常的原因
Baiduspider抓取频次原则及调整方法
Baiduspider抓取过程中涉及的网络协议
Baiduspider 主要抓取策略类型
Spider抓取系统的基本框架

扫一扫右侧二维码，关注“元创”回复“百度”   免费领取：
《百度站长平台高级工程师-高波 分享的《链接人与信息》》
《百度站长平台高端沙龙徐州站ppt分享《百度流量异常排查方法》》
关注“元创”回复“PPT”   免费领取：
《2014乌镇世界互联网大会PPT》

Tags - 百度搜索引擎工作原理 ]]> http://www.yuan-chuang.cc/read.php/1004.htm#blogcomment232506 香港虚拟主机 <user@domain.com> Mon, 05 Jan 2015 03:10:12 +0000 http://www.yuan-chuang.cc/read.php/1004.htm#blogcomment232506