首页 > SEO基础知识 > 关于robots文件检测返回状态值:404和200
2013
10-20

关于robots文件检测返回状态值:404和200

我们之前教大家用了一下关于怎么样使用谷歌站长工具来检测robots文件,其中我们在测试之后发现状态栏会返回一个值,正好是200,这里我们要说的就是状态栏还会返回404的值,但是你知道分别代表什么意思吗?

今天我们再来回顾一下,为什么状态栏会有值,其实就是搜索引擎蜘蛛在爬行、抓取网站的时候,会首先访问robots.txt文件从而来确定网站是否会阻止搜索引擎抓取网站的页面或者网址。如果网站的robots.txt文件存在但无法访问(也就是说,如果它没有返回 200 或 404 HTTP 状态代码),搜索引擎就会推迟抓取,以免抓取到禁止网址。

为什么会出现返回值为400:

如果您希望搜索引擎将网站上的所有内容都编入索引,就无需要使用robots.txt文件,甚至连空的robots.txt文件也不需要。如果网站上没有robots.txt文件,那么搜索引擎的蜘蛛在请求robots.txt文件时就会返回404,搜索引擎就会继续抓取您的网站。

为什么会出现返回值为200:

其实在网站包含不想让搜索引擎编入索引的内容时,我们才需要使用robots.txt文件,这个时候,搜索引擎蜘蛛在爬行、抓取网站的时候,会首先访问robots.txt文件从而来确定网站是否会阻止搜索引擎抓取网站的页面或者网址。

当网站下存在robots.txt文件时,并且文件中的规则书写正确的时候,那么搜索引擎的蜘蛛在读取了robots.txt文件里的规则之后就会返回200,搜索引擎就会开始抓取您的网站。

现在你明白了吗?

最后编辑:
作者:云南SEO
这个作者貌似有点懒,什么都没有留下。

关于robots文件检测返回状态值:404和200》有 1 条评论

留下一个回复

你的email不会被公开。