robots.txt文件功能是什么(robots文件的作用)

时间:2022-01-08 22:46:14 阅读:
  robots是网站和搜索引擎之间的一个协议。用来防止一些不想被搜索引擎索引的页面或内容的抓取,而且可以吧sitemap地图的路径放在robots协议中,这样有助于网站地图的抓取。能够有效提高网站的健康度、纯净度,降低网站垃圾内容收录。

  robots协议的作用

  引导搜索引擎蜘蛛抓取指定内容或栏目。比如,有的网站部分内容,只有注册会员后,登陆会员功能才能看到更多内容。

  网站改版或者URL需要重写优化的时候屏蔽对搜索引擎不友好的链接。

  屏蔽死链接、404页面。

  屏蔽无内容页面、无价值页面。

  屏蔽重复页面,如搜索结果页、评论页面等。

  屏蔽任何不想收录页面。

  引导蜘蛛抓取网站地图。

  当搜索引擎王文网站时,会优先访问网站的robots协议,从中来获取信息来抓取网站。那么如果没有robots协议会对网站有什么影响呢?

  如果没有robots,搜索引擎蜘蛛访问网站时依旧会先访问robots.txt,没有的话会返回404页面,影响虽然不大,但是也绝对不好。

  没有robots,搜索引擎蜘蛛默认抓取所有内容。这一点影响不是很大,但是还是取决于网站的内容,如果存在很多低质量的内容,建议还是使用robots进行限制比较好。

  综合上面所说的内容,robots协议还是加上比较好,没有很麻烦,我们一般会把robots放在FTP的根目录下,有助于蜘蛛的抓取。

  robots协议怎么写

  robots的常用的命令一般有:

  User-agent:*(这里的*代表的所有的搜索引擎种类,这句话表示可以让所有的搜索引擎都可以访问抓取这个网站。)

  Disallow:(这个表示禁止的意思,一些不想让搜索引擎访问的页面可以把路径写下来。)

  Allow:(这个表示允许的意思,想要搜索引擎访问页面可以把路径写下来。)

  robots.txt文件书写注意事项

  英文符号下写。

  冒号后要有空格。

  首个字母要大写。

  /网站根目录(网站所有)。

  其实,robots.txt文件,只要熟悉理解代码,书写和应用很简单。

相关推荐

  • 如何做好网站(优秀的网站设计要素)

      实际上,建立一个网站并不难,难得的是建立一个好的网站,相信大家都认同这个说法。近十多年来,互联网产业发展过快,直接导致了行业竞争加剧。当今社会,要想做好网站建设,必须树立...

  • 谷歌pr值什么意思(与BR的区别)

      虽然,谷歌PR早已停止更新,但如果你今年在关注域名抢注市场,你会发现一个有兴趣的现象,那就是PR值高的域名,经过竞价,价格是一路水涨船高。   这很明显说明一个问题,高PR值的...

  • vps是什么(vps可以用来干嘛)

      VPS就是Virtual Private Server虚拟专用服务器技术,简单理解VPS就是一台拥有公网IP的服务器。   VPS技术实际就是将一台服务器分割成多个虚拟专享服务器的服务。实...

  • ftp是什么协议(ftp主要功能是什么)

      FTP协议就是文件传输控制协议。它可以使文件通过网络从一台主机传送到同一网络的另一台主机上,而不受计算机类型和操作系统类型的限制。服务器、大型机,还是DOS操作系统、...

  • 网络营销的特点有哪些(网络营销的基本特点和描述)

      在这个高速发展的时代,一切都在迅速变化。以前的营销方式已经过时;之前的渠道已经缩水;以前的想法已经过时了。只有时代的变化不会被淘汰。   网络营销是目前最流行的营...

  • seo白帽与黑帽区别(各自的常用手法有哪些)

      从事SEO行业这么多年来,在日常工作中,总是有人在讨论白帽与黑帽的区别,而在实际运营中,我们认为不同的SEO从业者,可能会不同的角度去解读二者的区别。   什么是白帽SEO?...

  • 如何提高百度权重(增加网站权重的方法)

      百度权重一直是行业默认的一个权威数值,一个网站的百度权重越高,在行业内才会越被认可。爱站、站长工具等网站甚至推出的针对网站关键词排名预计给网站带来流量多少来计算...

  • 百度搜索下拉词是怎么来的(出现原理)

      百度下拉词有人也叫它联想词。直接的说就是在百度、360等搜索引擎输入一个字或者词的时候就会向下显示出很多的包含这个字词的长的词句,它的作用是方便最快的找到想要的...

  • TAG标签优化(网站TAG标签具体怎么优化)

      TAG是博客和CMS系统常有的功能,可以为网站提升大量的权重和流量。今天我主要讲一下TAG标签聚合页面的使用和优化应该注意哪些问题。   什么是TAG标签聚合页面   TA...

  • 企业线上推广方式有哪些(常用的渠道和方法)

      在信息时代,尤其是互联网普及后,每个人的生活都离不开互联网。因此,越来越多的企业意识到推广网络环境的必要性,希望挖掘更多的潜在用户,实现产品和服务的转型。那么,在竞争激...

  • 云服务器租用价格多少钱一年(建议有活动时购买)

      一台云服务器的价格,受诸多因素的影响,如:云服务器的配置、租用时长、云服务商等等。一台云服务器多少钱,要具体云服务器具体看。一般我都是建议朋友们双11或者双12的时候购...

  • 精准关键词优化要怎么做(精准关键词优化具体技巧)

      在网站优化过程中,关键词一直是站长关注的核心之一。众所周知,关键词是网站与用户之间的桥梁,所以站长是关键,选择词要慎重。如果选择不好的关键词,网站的SEO优化会更有效。...