什么是搜索引擎蜘蛛？

    搜索引擎蜘蛛是一个自动抓取互联网上网页内容的程序，每个搜索引擎都有自己的蜘蛛。

    搜索引擎蜘蛛也叫搜索引擎爬虫、搜索引擎robot。

    国内各大搜索引擎蜘蛛名称：

    百度：百度spider

    谷歌：googlebot

    搜狗：sogou spider

    搜搜：Sosospider

    360搜索：360Spider

    有道：YodaoBot

    雅虎：Yahoo Slurp

    必应：msnbot

    Msn:msnbot

    以上是常见的搜索引擎蜘蛛（爬虫），如果你的网站不想让让某些蜘蛛抓取，那么可以通过robots.txt来限制爬虫的抓取。