百度蜘蛛相关概念的通俗解释

　　aiduspider的user-agent是什么?这句话直译的意思就是：百度蜘蛛的用户代理是什么?我们都知道，可能你不知道，但是现在说了你就知道了;对吧?难道你还不明白我要说什么吗?

　　Baiduspider汉译为：百度蜘蛛，就是那个在SEO业传得神乎奇呼的傻蛋蜘蛛!百度蜘蛛是百度搜索引擎的一个自动程序，它的作用是有事没事访问互联网上的网页，建立索引数据库，使用户能在百度搜索引擎中搜索到您网站上的网页。

　　Baiduspider的user-agent是什么?这句话直译的意思就是：百度蜘蛛的用户代理是什么?我们都知道，可能你不知道，但是现在说了你就知道了;对吧?难道你还不明白我要说什么吗?我要说的是：百度各个产品使用的user-agent是不同的，也就是说，不同的产品它委派了不同类型的蜘蛛!

　　网页以及其他搜索

　　无线搜索——Baiduspider(百度蜘蛛)

　　图片搜索——Baiduspider-image(百度蜘蛛-图片)

　　视频搜索——Baiduspider-video(百度蜘蛛-视频)

　　新闻搜索——Baiduspider-news(百度蜘蛛-新闻)

　　百度搜藏——Baiduspider-favo(百度蜘蛛-搜藏)

　　百度联盟——Baiduspider-cpro(百度蜘蛛-主题推广)

　　商务搜索——Baiduspider-ads(百度蜘蛛-广告)

　　百度蜘蛛对一个网站服务器造成的访问压力如何?

　　为了达到对目标资源较好的检索效果，百度蜘蛛需要对网站保持一定量的抓取。百度蜘蛛一般不会给网站带来不合理的负担，它会根据服务器承受能力，网站质量，网站更新等综合因素来进行调整。如果你觉得百度蜘蛛的访问行为有任何不合理的情况，你可以反馈至投诉平台或者点一把火烧死它!

　　为什么百度蜘蛛不停的抓取我的网站?

　　如果你网站上有新产生的或者持续更新的页面，百度蜘蛛就会持续抓取。当然，你可以检查网站访问日志中百度蜘蛛的访问是否正常，以防止有人恶意冒充百度蜘蛛来频繁抓取你的网站。如果你发现百度蜘蛛非正常抓取你的网站，请通过投诉平台反馈给百度，并尽量给出百度蜘蛛对你网站的访问日志，以便于让百度他们跟踪处理。

　　如何判断来站抓取的大蜘蛛不是冒充的呢?

　　建议你使用DNS反查方式来确定抓取来源的ip是否属于百度。

　　例如，在linux平台下，你可以使用hostip命令反解ip来判断是否来自百度蜘蛛的抓取。百度蜘蛛的主机以*.baidu.com或*.baidu.jp的格式命名，非*.baidu.com或*.baidu.jp即为冒充。

　　如果你不想你的网站被百度蜘蛛访问

　　百度蜘蛛遵守互联网robots(机器人)协议。你可以利用robots.txt文件完全禁止百度蜘蛛访问你的网站，或者禁止百度蜘蛛访问你网站上的部分文件。注意：禁止百度蜘蛛访问你的网站，将使你的网站上的网页，在百度搜索引擎以及所有百度提供搜索引擎服务的搜索引擎中无法被搜索到。关于robots.txt的写作方法，请参看百度官方的介绍：robots.txt写作方法

　　您可以根据各产品不同的user-agent设置不同的抓取规则，如果您想完全禁止百度所有的产品收录，可以直接对百度蜘蛛设置禁止抓取。

　　以下robots实现禁止所有来自百度的抓取：

　　User-agent:Baiduspider

　　Disallow:/

　　以下robots实现禁止所有来自百度的抓取但允许图片搜索抓取/image/目录：

　　User-agent:Baiduspider

　　Disallow:/

　　User-agent:Baiduspider-image

　　Allow:/image/

　　请注意：Baiduspider-cpro抓取的网页并不会建入索引，只是执行与客户约定的操作，所以不遵守robots协议，如果Baiduspider-cpro给您造成了困扰，请联系union1@baidu.com。

　　Baiduspider-ads抓取的网页并不会建入索引，只是执行与客户约定的操作，所以不遵守robots协议，如果Baiduspider-ads给您造成了困扰，请联系您的客户服务专员。

　　为什么你的网站已经加了robots.txt，还能在百度搜索出来?

　　因为搜索引擎索引数据库的更新是需要时间的。虽然Baiduspider已经停止访问你网站上的网页，但百度搜索引擎数据库中已经建立的网页索引信息，可能需要数月时间才会清除。另外也检查下你的robots配置是否正确。

　　如果你的拒绝被收录需求非常急迫，也可以通过投诉平台反馈请求处理。

　　如果你希望你的网站内容被百度索引但不被保存快照，你该怎么做呢?

　　Baiduspider遵守互联网metarobots(元机器人)协议。你可以利用网页meta(元)的设置，使百度显示只对该网页建索引，但并不在搜索结果中显示该网页的快照。

　　和robots的更新一样，因为搜索引擎索引数据库的更新需要时间，所以虽然您已经在网页中通过meta禁止了百度在搜索结果中显示该网页的快照，但百度搜索引擎数据库中如果已经建立了网页索引信息，可能需要二至四周才会在线上生效。

　　百度蜘蛛抓取造成的带宽堵塞?

　　Baiduspider的正常抓取并不会造成您网站的带宽堵塞，造成此现象可能是由于有人冒充Baiduspider恶意抓取。如果您发现有名为Baiduspider的agent(代理)抓取并且造成带宽堵塞，请尽快和百度联系。你可以将信息反馈至投诉平台，如果能够提供你网站该时段的访问日志将更加有利于百度的分析。