首页 > SEO网站优化 > 你的网站有没有设置robots.txt文件?
2013
06-08

你的网站有没有设置robots.txt文件?

什么是robots.txt?我们来看看百度的解释:robots.txt是一个协议,而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。

其实简单的来说,就是在robots.txt中告诉搜索引擎这个网站什么地方可以爬行,什么地方不可以爬行,也被说为控制搜索引擎蜘蛛爬行线路。

一般的来说,我们对于网站的建设,都不太会设置网站的robots.txt文件,或者说都不知道robots.txt这个文件。

当然网站不设置robots.txt文件也是可以的,并且没有规定robots.txt文件时一定要设置的。

robots.txt必须放置在网站的根目录下,文件名必须全部小写。

这里我们就说下robots.txt文件的一些基本语法:

一、允许搜索引擎蜘蛛访问网站的所有部分

1、立一个空白的文本文档,命名为robots.txt;

2、 User-agent: *
Disallow:
或者
User-agent: *
Allow: /

二、禁止所有搜索引擎蜘蛛访问网站的所有部分

User-agent: *
Disallow: /

三、禁止百度蜘蛛访问你的网站

User-agent: Baiduspider
Disallow: /

四、禁止Google索引你的网站

User-agent: Googlebot
Disallow: /

五、禁止蜘蛛访问某个目录

User-agent: *
Disallow: /css/
Disallow: /admin/

以上就是一些robots.txt文件的简单语法,同时,还有很多的语法,这个你可以在百度百科中详细查阅,根据自己的网站情况,从而写出更符合你网站的robots.txt文件。

最后编辑:
作者:云南SEO
这个作者貌似有点懒,什么都没有留下。

留下一个回复

你的email不会被公开。