SEO整站优化_企业营销型网站建设_网页设计制作_肇庆迅盈高端网络

肇庆SEO关于robots.txt的种种混淆剖析

  对于robots.Txt文件的东西,肇庆SEO想大家应该都不怎么熟悉了,可是还有很多朋友对于这个文件的设置方法不怎么理解,今天肇庆seo就再为大家作下分析。

  我们肇庆SEO曾经给大家讲过有关robots.Txt文件的注意事项,最近又有朋友咨询有关这方面的东西,为避免大家对这个神秘东西的混淆,我们在此再啰嗦一下,希望好好区分。

  昨天,有个肇庆SEO的朋友打电话来,问“robots.Txt如果要禁止百度收录网站应该怎么去写呢?
  user-agent:*
  disallow:
  表面上看,好像并不存在有什么大的问题,但是这样的写法是允许搜索引擎抓取的,我们必须要在后面加上反斜线“/”才能禁止百度蜘蛛的抓取!所以,肇庆SEO纠正写法如下:
  User-agent:baiduspider
  Allow:
  或者写成
  User-agent:baiduspider
  Disallow:/
  肇庆SEO在这里要提醒各位朋友,如果你的网站是属于纯静态的或者利用URL重写成伪静态的,建议这样写:“disallow:/?*”。因为百度对于像www.seo0758.com/?sbudian这样的网页抓取的时候对站点权重是有影响的,原因是带有“?”号的URL,如果页面不存在的话,则返回的是首页的内容。

文章作者:笑看人生
本文地址:http://www.seo0758.com/386
版权所有 © 转载时必须以链接形式注明作者和原始出处!

更多

给我们留言

您的名称 *

您的邮箱 *

您的网站