A5站长网SEO团队 首页 SEO问答 查看内容

哪些网站垃圾蜘蛛可以屏蔽?屏蔽无流量搜索引擎抓取

2021-8-12 10:06| 发布者: admin| 查看: 251| 评论: 0

网站做的越大,蜘蛛越多。可是有时候会发现:网站被各种搜索引擎的蜘蛛抓的服务器都快崩溃了,严重的占用了服务器的资源。这个时候要怎么办呢?

百度蜘蛛:Baiduspider

谷歌蜘蛛:Googlebot

360蜘蛛:360Spider

SOSO蜘蛛:Sosospider

神马蜘蛛:YisouSpider 

微软必应: BingBot

在国内,我们不要把这几个蜘蛛使用robots.txt屏蔽就可以了,至于其他的,都可以把它们干掉,基本不会为网站带来任何的实际流量!



路过

雷人

握手

鲜花

鸡蛋

QQ|SEO服务 ( 苏B2-20110049 )

GMT+8, 2024-3-29 17:18

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

返回顶部