欢迎朋友加元创微信交流,个人微信号:yc127com。
robots.txt写作方法视频操作教程

该视频专为推一把学员配合学习录制,操作比较简单,就放出来和大家一起分享!现在大部分开源程序自带有robots文件,已经有的,就不需要在改了!

这段视频主要讲:如何设置robots.Txt文件(什么是robots.txt?)

如何做:看演示!

点击在新窗口中浏览此图片
robots.txt写作方法视频操作教程!

点击在新窗口中浏览此图片
robots.txt写作方法视频操作教程

步骤:

1,在桌面新建记事本!

2,重命名:robots.txt

3,填写内容:
User-agent: *
Disallow:

4,通过FTP上传

robots文件还有更多高级设置,没有理解的同学,Q我!

下载地址:robots.txt设置视频教程

robots.txt写作方法视频操作教程!


下面,主要说明下Robots.txt文件的写法。

1.如果你站点中的所有文件,都可以让蜘蛛爬取、收录的话,那么语法这样写:

User-agent: *
Disallow:

当时,如果你网站中全部的文件都可以让搜索引擎索引的话,你也可以不管这个文件。

2.完全禁止搜索引擎来访的Robots.txt文件写法:

User-agent: *
Disallow: /

2.1.要禁止掉某个搜索引擎来访的Robots.txt文件写法:

User-agent: Googlebot
Disallow: /

3.网站中某个文件夹不希望让搜索引擎收录的Robots.txt文件写法:

User-agent: *
Disallow: /admin/
Disallow: /images/

4.禁止Google抓取网站中的图片文件:

User-agent: Googlebot
Disallow: /*.gif$

Robots.txt文件,是网站与搜索引擎沟通的比较重要的一个方式。
分页: 1/1 第一页 1 最后页 [ 显示模式: 摘要 | 列表 ]