首页 > SEO基础知识 > 如何用谷歌站长工具检测robots.txt文件
2013
10-18

如何用谷歌站长工具检测robots.txt文件

设置robots.txt文件是为了让搜索引擎的蜘蛛在爬行的时候不会爬行到该网页和者抓取这个网页上的内容,一般设置robots.txt文件是放在网站的根目录下,但是如果你没有书写正确的话,那么就会影响到搜索引擎蜘蛛的抓取和爬行。

这个时候我们需要做的就是检测robots.txt文件,检测robots.txt文件可以让你明白您网站的robots.txt文件是否会意外阻止 搜索引擎蜘蛛对您网站上的某个文件或目录的访问,或者它是否会允许搜素引擎蜘蛛抓取不应显示在网络上的文件。

今天我们就来给大家简单的介绍一下如何使用谷歌站长工具来检测robots.txt文件。这里直接进入到谷歌站长工具,选择你的网站,相信你已经知道了具体的步骤。

进入之后,我们选择“抓取,在抓取下面的已拦截的网址”,如图:

如何用谷歌站长工具检测robots.txt文件 - 第1张  | 云南SEO_昆明SEO_曲靖SEO_网站优化_SEO技术_小宝博客

点击之后,左侧也会跳转到相应的位置,这个时候,拉到网页的下面会看到“测试按钮”,就会跳转到上端,可以看到具体的测试后的结果:

如何用谷歌站长工具检测robots.txt文件 - 第2张  | 云南SEO_昆明SEO_曲靖SEO_网站优化_SEO技术_小宝博客

这里我们看到在状态一栏所显示的是200,这是什么意思呢?

其实就是搜索引擎蜘蛛在爬行、抓取你的网站的时候,会首先访问robots.txt文件从而来确定网站是否会阻止搜索引擎抓取网站的页面或者网址。如果网站的robots.txt文件存在但无法访问(也就是说,如果它没有返回 200 或 404 HTTP 状态代码),搜索引擎就会推迟抓取,以免抓取到禁止网址。

当然搜素引擎的蜘蛛会在访问robots.txt文件成功之后,从新来回来抓取你的网站。

现在你会用了吗?快去检查一下你的robots.txt文件吧。

最后编辑:
作者:云南SEO
这个作者貌似有点懒,什么都没有留下。

留下一个回复

你的email不会被公开。