搜索引擎(蜘蛛)是怎么判断你的网站是否有更新的

敖游
2024-05-13
来源:遨游建站

你的网站是否有更新?搜索蜘蛛是怎么判断的?搜索引擎(蜘蛛)是怎么判断你的网站是否有更新的?…… 当“蜘蛛(搜索引擎)”来你网站浏览抓取网页的时候,看到你网站上没有更新文章,这样下次都不好好来了。


搜索引擎(蜘蛛)是怎么判断你的网站是否有更新的


“蜘蛛”多是通过外链和友情链接来到你网站的,“蜘蛛”判断网站更新的方法主要有以下几种:
1、304页面http状态码


当蜘蛛第二次请求页面访问的时候,该页面如果未更新,则会反馈一个304代码,而搜索引擎也会利用这个304 http状态码来进行判断页面是否更新。
2、Last-Modified文件最后修改时间


这是http头部信息中的一个属性,主要是记录页面最后一次的修改时间,往往我们会发现,一些权重很高的站点,及时页面内容不更新,但是快照却还是能够每日更新,这其中就有Last-Modified的作用。 不过需要注意的是,Last-Modified默认只存在于静态页面,对于二级页,通常不返回,因此Last-Modified只是蜘蛛判断页面是否更新的一个参考值,而不是条件。
3、比对文件大小


搜索引擎(蜘蛛)还会取出之前页面文件,和现在的文件进行对比,不过因为大部分站点都是一种替换式更新,往往比对文件大小很难说明问题,因此常见与页面链接变化配合使用。


了解“蜘蛛”运行原理后,按照搜索引擎爬取原理去操作网站,网站就会慢慢进入“蜘蛛”视线氛围,久而久之,就会成为好朋友……


阅读7
分享
写评论...