新闻中心

正确的使用Robots协议,提高网站排名——杭州一朵云科技有限公司

您的当前位置: 首 页 >> 新闻中心 >> 一朵云动态

正确的使用Robots协议,提高网站排名——杭州一朵云科技有限公司

发布日期:2015-09-02 00:00 来源:http://www.eduoyun.cn 点击:


     在我们的网站中有一个Robots.txt文件,但是很少有人知道它是做什么用的,有的甚至都不知道有这个文件的存在。其实网站Robots.txt文件,是网站与搜索引擎交流的通用协议,通过Robots协议的设置告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取的,因此对网站的优化有着重要的意义。如果在其撰写上存在或多或少的欠缺,甚至由于技术性的错误撰写,有可能会导致网站降权、不收录、被K等一系列问题的出现。可见正确的使用Robots协议,对提高网站排名是非常重要的。正确的使用Robots协议,提高网站排名——杭州一朵云科技有限公司


4.jpg


   一:设置成Allow全站点抓取

    相信大多数的人都会认为百度收录的越多,网站的排名越高,事实上也是如此,但是并不是绝对成立,若是收录了过多低质量的页面,那是会降低网站的排名效果的。

  如果你的网站结构不是非常的清晰,以及不存在多余的“功能”页面,不建议对网站开全站点的抓取,事实上,在SEO优化中,只遇到极少数的一部分网站,可以真正的做到全站点都允许抓取,而不做屏蔽。随着功能的丰富,要做到允许全站点抓取,也不太可能。


  二:什么样的页面不建议抓取

    网站建设过程中一个重要的因素就是用户体验度,为了提升用户体验,我们会在网站功能上放置有用的目录,有用的页面。但是从搜索引擎方面来说,这样做可能会造成服务器负担,如大量的翻页评论,对优化上则没有任何的价值。


  另外网站做了伪静态处理后,那么就要将动态链接屏蔽掉,避免搜索引擎抓取。用户登录目录、注册目录、无用的软件下载目录,如果是静态类型的站点,还要屏蔽掉动态类型的链接Disallow: /*?* 为什么呢?我们举个例子来看:


5.jpg


  上面是某客户网站发现的问题,被百度收录的原因是:有人恶意提交此类型的链接,但是网站本身又没有做好防护。


  三:撰写上的细节注意事项

  

  1、举例:Disallow; /a 与Disallow: /a/的区别,不加斜杠表示屏蔽的是以a字母开头的所有目录和页面,而后者代表的是屏蔽当前目录的所有页面和子目录的抓取。一般我们应该选择后者,减小定义范围,以免造成“误杀”。


  2、对于JS文件、CSS是否需要屏蔽,这是很多人都疑惑的问题,google站长工具给出了明确的解答:封禁css与js调用,可能会影响页面质量的判断,从而影响排名。


  3、已经删除的目录屏蔽,我们往往会将一些需要删除的目录进行屏蔽,从而防止搜索引擎再抓取这样的链接,这样真的有效果吗?事实上,只要这些链接没有被蜘蛛从库中剔除,并且之前目录存在的问题没有解决,那么即使屏蔽掉了,还是会影响到网站的。对于这样的情况,最佳的方式是:将对应的主要错误页面整理出来,做死链接提交,以及自定义404页面的处理,彻底的解决问题,而不是逃避问题。

 


相关标签:一朵云科技

总部地址

未标题-3.png 杭州西湖区万塘路266号之江大楼3号楼309室

未标题-3.png 全国服务热线:400-6699-263

未标题-3.png 邮箱:kf@91263.net

未标题-3.png 传真:0571-56883777


二维码