网站robots是什么意思?搜索引擎robots协议怎么写利于seo优化?

robots为搜索引擎协议,通过robots文件可以规定各大搜索引擎蜘蛛可以抓取网站哪些页面,不可以抓取哪些页面。用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限,也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

网站robots是什么意思?搜索引擎robots协议怎么写利于seo优化?

robots语法

用几个最常见的情况,直接举例说明:

1. 允许所有搜索引擎收录本站:robots.txt为空就可以,什么都不要写。 

2. 禁止所有搜索引擎收录网站的某些目录:
User-agent: * 
Disallow: /目录名1/ 
Disallow: /目录名2/ 
Disallow: /目录名3/ 

3. 禁止某个搜索引擎收录本站,例如禁止百度: 
User-agent: Baiduspider 
Disallow: / 

4. 禁止所有搜索引擎收录本站: 
User-agent: * 
Disallow: / 

网站为什么要做robots协议?

  1. 如果网站存在重要文件不允许公开的,那么就需要限制搜索引擎抓取。
  2. 当网站蜘蛛过多,也会导致服务器宕机,这时就需要屏蔽限制一些不需要的蜘蛛。

robots书写建议

少用disallow,多用allow。disallow用多了对搜索引擎蜘蛛不友好。

版权声明:本文由迟博勋博主编辑发布,如需转载请注明来源!本文地址:https://www.chiboxun.com/428.html

(0)

猜你想看

发表回复

登录后才能评论

联系博主

139-xxxx-2322

在线沟通: QQ交谈

邮箱:chinachiboxun@gmail.com