哪些网站垃圾蜘蛛可以屏蔽？屏蔽无流量搜索引擎抓取

2021-8-12 10:06| 发布者: admin| 查看: 379| 评论: 0

网站做的越大，蜘蛛越多。可是有时候会发现：网站被各种搜索引擎的蜘蛛抓的服务器都快崩溃了，严重的占用了服务器的资源。这个时候要怎么办呢？

百度蜘蛛：Baiduspider

谷歌蜘蛛：Googlebot

360蜘蛛：360Spider

SOSO蜘蛛：Sosospider

神马蜘蛛：YisouSpider

微软必应： BingBot

在国内，我们不要把这几个蜘蛛使用robots.txt屏蔽就可以了，至于其他的，都可以把它们干掉，基本不会为网站带来任何的实际流量！

上一篇：网站长期不收录怎么办？下一篇：网站修改标题后快照停止更新了怎么办？

GMT+8, 2024-11-24 14:32

相关分类