斑竹seo宗旨:一切seo皆以提高用户体验为中心。

你所不知道的robots文件另类用法

SEO技术分享 banzhuseo 11351℃ 0评论

至于robots.txt文件是什么,格式写法与作用,这里斑竹就不一一介绍了,我想各位站长及SEO优化人员肯定都知道这是seo基础的知识了。如真有不了解的,请移步百度自行搜索脑补。今天斑竹要分享的是robots文件的另类用法。

robots文件的另类用法

robots文件的另类用法

提问一:新站如何才能更快的被收录?

提问二:如何让久久未被收录的内页快速收录?这里可以先参考《为什么内页不收录》。

提问三:网站被黑客挂了大量垃圾信息页面,如何快速的清除?

众所周知,当搜索引擎蜘蛛访问一个网站的时候,它会首先访问网站根目录下的robots.txt文件,如果该文件存在,蜘蛛会按照该文件中限定的访问范围来访问网站;如果该文件不存在,那么蜘蛛会收到一个404的返回值,之后会返回网站进行抓取。在这里,斑竹建议各位没有做robots文件的站长们,还是做一下robots文件,哪怕是一个空文件也比给蜘蛛返回一个404来得好,因为从微观上来讲,蜘蛛寻找robots文件也是需要消耗资源的,而我们却很有必要为蜘蛛节省资源。

搜索引擎派出每个访问你网站的蜘蛛都是有抓取时长限制的,有的蜘蛛在你网站上停留的时间只有1-2秒钟,那么我们做优化如何充分利用蜘蛛爬行的这1-2秒钟的时间呢?

回到问题一,如果是新站,我们可以把网站重要的目录用Allow命令在robots文件中罗列出来,这样蜘蛛就会优先抓取那些目录,而不用进入你网站去根据链接关系爬取了,因为蜘蛛的时间很宝贵,我们必须把我们最好的东西优先拿出来给蜘蛛看,正所谓有朋自远方来,不亦说乎?

再看问题二,在页面质量没有问题的前提下,内页不被收录的原因只有一个:蜘蛛没来抓取!此时,我们就可以把未收录的页面同样用Allow命令写进robots文件,蜘蛛不就来了吗!

问题三,一般被黑客挂大量垃圾信息的网站,垃圾信息收录是非常快的,此时为了网站不被降权或者已经被降权想快速恢复的话,最快的方法如下:1、将垃圾页面全部清除,并设置404;2、将被收录的垃圾页面用规则及Disallow命令写进robots文件。这样就可以快速地从搜索引擎中删除那些收录的垃圾信息页面了。当然保险起见,还可以去站长平台提交死链。

以上便是斑竹对robots文件用法的一些另类想法,之前你知道吗?斑竹这里抛砖引玉,希望对各位执着于SEO的朋友有所启发!

转载请注明:斑竹seo博客 » 你所不知道的robots文件另类用法

喜欢 (9)or分享 (0)
发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
(3)个小伙伴在吐槽
  1. 相当精彩的博客!
    衣皇后2017-06-05 16:15 回复
  2. robots一般我都用默认的,自己不会改,现在学到了!
    夜猫淘宝客2017-03-08 13:57 回复
  3. 确实比较另类 学习了
    自媒体论坛2017-01-23 20:52 回复