设置网站robots.txt文件主要是想让搜索引擎收录自己网站，大家都知道百度的蜘蛛网是一个强大的机器操作工具，想要在人人茫海里收录你的网站其实是有一定难度的，主要看您更新情况，还有您被允许收录的情况等，所以您如果想在百度排名有所提升的话，就得扎实干，而且一定要做好robots.txt文件，我们来看看robots.txt文件是怎么做的。

首先准备好urllist.txt文件，至于这个文件去哪弄呢？您可以到xml-sitemapst处去生成，在xml-sitemaps这个生成网页地图时会有一个urllist.txt文件，下载下来，这个文件的好处是因为在线地图已经全部读取您的网站页面，而现在我们制作robot文件有需要用到这里面的页面。

下载下来后要处理一下，把"域名"这一段都用文件的"替换"功能去掉，保留"/index.asp"这一段，至于为什么去掉，那是因为在百度站长工具提交时，有格式限制，您就先这么操作吧，后面就会知道了。

百度站长工具生成

登陆百度站长平台(没账号的就要注册哦,这里就不介绍了)，添加网站，如果您是第一次进入，就要添加网站，比如第二张图(写域名)

然后会有一个验证文件要下载，您占那个下载验证文件就可以下载了，下载之后把文件放到网站的根目录下。

当前面步骤操作完成后，回到站长平台点验证，成功后双击网址。

选择左手边的网站分析下的Robots

选择"生成robots.txt"处，然后User-agent按自己意愿选择，状态也是，如果您是允许就选择允许，如果是不允许就选择不允许。

在路径框里复制刚才的第一步处理的urllist.txt文档的内容，粘贴到路径框里，格式都是/www.aaa.com类型的，后缀不强烈要求的，再点"创建"就会在上面记录一条信息，可以把允许与不允许同事记在同一个文件里。

这时可以看到下方的"robots.txt内容"就会出现相关内容，如果确认自己所有页面添加完成，就点"下载"，然后再把该文件上传的根目录下就可以了。

robots.txt文件可以用手写的，但是有些网页太多了，手写麻烦而已，这可以看各人意愿啦。

小编就介绍到这里，希望你能成功。

注意事项

这是我看到很多地方都有说关于百度网页收录得出的结论，sitemap只对其它搜索引擎有用，对百度就不太行，但小编也不能说绝对罗，只能说多做一个其它的，反正会更好，感谢您关注小编，如果觉得可以，请在上方点赞，同时想了解其它的网络可关注小编。