当前位置: A5营销团队 >> SEO百科 >> 查看内容

什么是搜索引擎蜘蛛?

2013-11-7 16:14|发布者: 黄忠|查看: 829|评论: 0

  搜搜引擎蜘蛛是一个自动抓取互联网上网页内容的程序,每个搜索引擎都有自己的蜘蛛。

  搜索引擎蜘蛛也叫搜索引擎爬虫、搜索引擎robot。

  国内各大搜索引擎蜘蛛名称:

  百度:百度spider

  谷歌:googlebot

  搜狗:sogou spider

  搜搜:Sosospider

  360搜索:360Spider

  有道:YodaoBot

  雅虎:Yahoo Slurp

  必应:msnbot

  Msn:msnbot

  以上是常见的搜索引擎蜘蛛(爬虫),如果你的网站不想让让某些蜘蛛抓取,那么可以通过robots.txt来限制爬虫的抓取。


路过

雷人

握手

鲜花

鸡蛋
上一篇:什么是死链  下一篇:什么是次导航

QQ|SEO服务 ( 苏B2-20110049 )

GMT+8, 2021-5-10 16:36

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

返回顶部