做了伪静态后的动态网址不希望再被收录，或者是网站后台程序也不希望被搜索引擎收录，亦或是网站内存在了大量的死链接页面。面对这些情况的网页，我们都不希望搜索引擎收录页面，那么需要使用robots.txt文件来屏蔽搜索引擎蜘蛛抓取。这个文件用于指定蜘蛛在网站上的抓取范围。在文件中可以声明该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。

了解robots.txt文件

搜索引擎蜘蛛在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件。robots.txt文件作用是禁止搜索引擎抓取网站中某些内容。文件名必须是robots.txt（小写字母）。存放位置必须在空间根目录下，百度的robots.txt文件允许百度蜘蛛抓取网站部分页面。如网站允许抓取所有文件，可以不需要使用此文件。

1、Robots.txt文件常用函数

User-agent：制定规则适用于哪个蜘蛛。“*”代表所有搜索引擎。针对某个搜索引擎，则写该搜索引擎蜘蛛名称。

2、Disallow：告诉蜘蛛不要抓取哪些文件和目录。

例如上图淘宝robots.txt所示禁止百度搜索引擎抓取所有网页，代码如下：

User-agent: Baiduspider

Disallow: /

Disallow还可以表示允许抓取所有文件，代码如下：

User-agent: Baiduspider

Disallow:

注意：两段代码只差了一个斜杠“/”，但是意思是完全相反，切记。

3、Disallow禁止具体某个文件或目录，则写出该文件的绝对地址，不带域名。代码如下。意为禁止百度搜索引擎抓取http://www.xxx.com/ web/abc/xxx.html文件。

User-agent: Baiduspider

Disallow：/web/abc/xxx.html

4、Disallow禁止多个文件，需分行描述。禁止同一类型网址网页，则可以使用通配符。代码如下，意为禁止百度搜索引擎抓取网址是以http://www.***com/index.php?开头的网页文件，和以http://www.***.com/ pop/开头并以.html结尾的文件。同时还禁止抓取JPG图片。“*”代表任意字符。$代表行结束符。

User-agent: Baiduspider

Disallow: /index.php?*

Disallow: /pop/*.html

Disallow: /*.jpg$

根据上述规则，http://www.***.com/index.php?search=25和http://www.***.com/pop/123.html两个网页将不会被百度搜索引擎抓取。以JPG格式结尾的图片也将不再抓取。

5、Allow：告诉蜘蛛应该抓取哪些文件和目录。

Sitemap：告诉蜘蛛XML网站地图在哪里。代码如下，允许所有的搜索引擎访问，并告知网站地图地址，网站地图域名为全网址出现。

User-agent: *

allow:http://www.***.com/1.html

Sitemap: http://www.***.com/sitemap.xml

6、robots.txt文件其他应用

robots.txt文件用法举例

网站优化如何制作robots.txt文件

7、robots.txt文件上传服务器

将robots.txt文件上传至远程空间根目录下即可。

注意事项

各种代码不要加错，disallow和allow的区别

robots.txt文件上传到网站根目录下