服务电话 TEL: 400-650-5768

资讯帮助

网站robots文件的写法与优势!


网站robots文件的书写

1、什么是robots

这个文件是网站跟搜索引擎之间的一个协议,这个协议是告诉搜索引擎我们网站的文件是允许搜索引擎蜘蛛抓取收录的,告诉搜索引擎蜘蛛哪些文件是不允许蜘蛛抓取和收录的。

2、为什么要屏蔽一些文件不让蜘蛛抓取收录?

因为并不是所有的文件都可以用来参与排名,对于一些不能参与排名的文件,我们需要把它屏蔽掉。

为了提高搜索引擎蜘蛛的抓取效率,让蜘蛛多去抓取一些有用的文件,能参与排名的文件。

如果没有robots.txt文件,就表明搜索引擎蜘蛛可以任意抓取你的网站文件。

3、robots.txt的位置

我们自己的网站一定要给它加上这个文件。

放在网站根目录,而且这个文件一定是小写的。检测你的网站根目录有没有这个文件,如果有的话,蜘蛛会按照这个文件给定的方式来抓取网站的内容。

4、robots.txt文件的写法

1) user-agent: 后面跟的是蜘蛛的名称,一般对于企业网站或者个人网站我们都会直接用*来代替所有的搜索引擎蜘蛛。

2) disallow:  后面跟的是禁止搜索引擎蜘蛛抓取的文件

例如:User-agent: *

Disallow:/a/1.html

禁止所有的搜索引擎抓取A目录下面的1.html文件。

例如:Disallow:/abc

含义:禁止抓取网站中abc栏目文件的所有内容。

Disallow:/abc.html     Disallow:/abc/abc.html

例如:Disallow:/abc/

含义:禁止蜘蛛抓取网站中ABC栏目以下的内容

Disallow:/abc.html (可以)  Disallow:/abc/abc.html(不可以)