想让自己的网站获取更多的点击量、流量那么写好robots.txt文件很重要。

一、robots.txt是什么？

robots.txt是一个纯文本文件，在这个文件中网站管理者可以声明该网站中不想被搜索引擎访问的部分，或者指定搜索引擎只收录指定的内容。

当一个搜索引擎（又称搜索机器人或蜘蛛程序）访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，那么搜索机器人就沿着链接抓取。

二、robots.txt的作用

1、引导搜索引擎蜘蛛抓取指定栏目或内容；

2、网站改版或者URL重写优化时候屏蔽对搜索引擎不友好的链接；

3、屏蔽死链接、404错误页面；

4、屏蔽无内容、无价值页面；

5、屏蔽重复页面，如评论页、搜索结果页；

6、屏蔽任何不想被收录的页面；

7、引导蜘蛛抓取网站地图；

三、Robots的语法（三个语法和两个通配符）

三个语法如下：

1、User-agent:（定义搜索引擎）

示例：

User-agent: *（定义所有搜索引擎）

User-agent: Googlebot （定义谷歌，只允许谷歌蜘蛛爬取）

User-agent: Baiduspider  （定义百度，只允许百度蜘蛛爬取）

不同的搜索引擎的搜索机器人有不同的名称，谷歌:Googlebot、百度:Baiduspider、MSN:MSNbot、Yahoo:Slurp。

2、Disallow:（用来定义禁止蜘蛛爬取的页面或目录）

示例：

Disallow: /（禁止蜘蛛爬取网站的所有目录 "/" 表示根目录下）

Disallow: /admin （禁止蜘蛛爬取admin目录）

Disallow: /abc.html （禁止蜘蛛爬去abc.html页面）

Disallow: /help.html （禁止蜘蛛爬去help.html页面）

3、Allow:（用来定义允许蜘蛛爬取的页面或子目录）

示例：

Allow: /admin/test/（允许蜘蛛爬取admin下的test目录）

Allow: /admin/abc.html（允许蜘蛛爬去admin目录中的abc.html页面）

两个通配符如下：

4、匹配符 “$”

$ 通配符：匹配URL结尾的字符

5、通配符 “*”

* 通配符：匹配0个或多个任意字符

赶快去优化自己网站的robots.txt文件吧