你完全懂robots吗?

  • A+
所属分类:SEO

文件目录大小写问题
robots文件名到底对大小写是否区分,相信很多站长也没有一个标准的答案。虽然res标准忽略大小写,但对于目录与文件名而言,却是大小写敏感的。“user-agent”和“Disallow”指令本身用大小写都可以,但对于其声明的目录或文件名却一定要注意大小写的问题。因为如果屏蔽了大写,蜘蛛有可能会抓小写,对网站的收录造成影响,例如:
Disallow: /abc.htm
会拦截https://www.abc.com/abc.htm
却允许https://www.abc.com/Abc.htm
所以在一些IIS服务器可能出现大小写目录的问题时,可以通过此方法得到圆满解决。
包含同类meta问题
一个正常的页面如果包含了多个同类型meta 标签,搜索引擎蜘蛛会累加meta的内容进行取值。举个简单的例子,对下面两条语句来说:
搜索引擎将会把两者合并,最终理解成:
取最强参数的问题
有时候meta标签里边的值出现冲突,那么对于搜索引擎来说就会采纳限制性较强的参数为最终值,很多时候这个问题可以避免,但是有时候不小心写多了meta标签,特别对于一些大网站,更要注意。举个例子,例如下边的两个标签:
那么搜索引擎最终会会选择noindex的取值,因为它的限制性要比第二个高,这个类似优先级问题。
即有robots又有meta问题
如果一个网站里边既存在robots.txt文件,同时页面头部又写了meta标签,而当二者存在冲突,那么对于Google来说会服从限制较严的规则,即在robots.txt中阻止了对一个页面的检索,那么Google就不会爬到这个页面,所以也就不会读到这个页面上的meta标签。而如果robots.txt里允许检索,meta中禁止,那么Google会到达这个页面,并在读到meta后停止爬行。

avatar

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: