网站优化robots与nofollow有哪些差异

    重庆网站建造今日就来谈谈优化:robots效果是什么与nofollow有哪些差异，先来说靠前个问题robots效果是什么。

    robots一般用于站长限制搜索引擎拜访页面，所以说robots是网站跟搜索引擎爬虫间的协议，一般站长通过txt文本方法告知搜索引擎爬虫被答应的权限，一般只要在根域名目录下，未设置目录拜访权限的文件爬虫都能够抓取的到，假如网站跟搜索引擎之间没有协议，将使不可预知的大量信息泄露到网上，这不是双方乐意看到的。

    robots效果是什么：

    1.假如网站改版了，整个文件夹都没有了的时分，这个情况下就要考虑屏蔽掉整个文件夹。咱们能够运用robots来对这整个的文件夹进行屏蔽，例如网站里的ab文件夹因改版全都给删掉了，这个时分就能够这样子设置：

    User-agent: *

    Disallow: /ab/

    2.能够使用各种通配符对网站进行相对应的调配，例如我不想网站抓取我的一切图片，这个时分就能够运用$来进行设置。一般咱们常见的图片的格局是BMP?.jpg-w600、GIF、JPEG等格局。这个时分设置便是：

    User-agent: *

    Disallow: /.bmp$

    Disallow: /.jpg-w600$

    Disallow: /.gif-w600$

    Disallow: /.jpeg-w600$

    3.假如你只想某一个搜索引擎抓取你的信息，这个时分就能够用robots进行设置,例如：我只想我的网站被百度这个收录，而不想被其他搜索引擎收录。就能够使用robots进行设置。

    User-agent: Baiduspider

    Allow:

    User-agent: *

    Disallow: /

    4.还能够使用*来屏蔽掉相关的URL，有些网站不答应搜索引擎抓取动态地址的时分能够使用这个*通配符来进行匹配设置。一般情况下动态URL的有一个特色便是有“?”这个时分咱们就能够使用这个特性来进行匹配的屏蔽：

    User-agent: *

    Disallow: /*?*

    5.屏蔽一切的搜索引擎抓取信息，假如你的网站仅仅你的私密性的网站，不想太多的人知道的话，能够使用robots屏蔽掉一切的搜索引擎,例如你写的私人博客。你就能够把搜索引擎全都屏蔽掉。

    robots与nofollow有哪些差异

    robots文件是在根目录中的一个txt文本文件，里边用代码句子告知蜘蛛什么能够抓取，什么不能抓取，从一开始就告知了蜘蛛：“我有些东西不能让你看，请你主动绕开。”而nofollow特点的链接，意思是告知蜘蛛这个链接你能够看看，可是跟我网站无关，不要给这个链接权重，这是比较直观的说法。

    说得更浅显点robots一开始就告知蜘蛛咱们什么链接不要去抓取，而对于nofollow标签来说，他无法节约咱们的蜘蛛资源，连接中加了nofollow标签，蜘蛛仍是会抓取这个链接，仅仅不传递权重，也便是咱们的网站不对这个链接传递权重。