当前位置: A5营销团队 >> 专家专栏 >> 查看内容

如何吸引搜索引擎蜘蛛抓取我们的网站

2012-11-28 11:19|发布者: admin|查看: 929|评论: 0

摘要:   我们做SEO优化工作的都明白,一个网站想要在搜索引擎获得好的排名,必须是要被蜘蛛(spider)所爬取收录我们的网页。搜索引擎蜘蛛把爬取到的代码存入自己的数据库里面,从而我们就能够在搜索引擎上面搜索到我们的网 ...

  我们做SEO优化工作的都明白,一个网站想要在搜索引擎获得好的排名,必须是要被蜘蛛(spider)所爬取收录我们的网页。搜索引擎蜘蛛把爬取到的代码存入自己的数据库里面,从而我们就能够在搜索引擎上面搜索到我们的网站。

  网奇SEO培训认为,我们网站SEO优化第一步要做到的就是吸引蜘蛛来爬取我们的网站,搜索引擎的蜘蛛爬取到我们的网站,都会有痕迹,都会有自己的代理名称,各位站长都可以在日志文件中分辨出分别是哪个搜索引擎的蜘蛛。

  比较常见的搜索引擎蜘蛛有

  Baiduspider+(+baidu/search/spider.htm:baidu/search/spider.htm)

  代表百度蜘蛛爬取过的痕迹

  Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)

  雅虎中国蜘蛛爬取过的痕迹

  Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

  Google蜘蛛爬取过的痕迹

  Sogou+web+robot+(+http://www.sogou.com/docs/help/webmasters.htm#07)

  搜狗蜘蛛爬取过的痕迹

  Sosospider+(+http://help.soso.com/webspider.htm)

  搜搜蜘蛛爬取过的痕迹

  Mozilla/5.0 (compatible; YodaoBot/1.0; http://www.yodao.com/help/webmaster/spider/; )

  有道蜘蛛爬取过的痕迹

  各位站长如果要吸引蜘蛛来爬取我们做SEO优化的网站的话,必须是要做一些工作的,因为蜘蛛不能够爬取互联网所有的网站,实际上最大的搜索引擎也只是爬取了收录了互联网很小的一部分。

  如果SEO优化人员想要自己的网站更多的被搜索引擎收录,那么网奇SEO培训认为必须得想法设法的蜘蛛吸引过来抓取。搜索引擎一般都会爬取比较重要的页面,我们要符合蜘蛛爬取重要性的规则需要满足几个条件:

  1.网站权重问题,权重越高的网站蜘蛛会爬取的更加深入,几乎每个页面都会爬取到,就会有更多的内页被收录。

  2.网站的更新频率,蜘蛛会把每次爬取的网站存储起来,方便第二次爬取,如果第二次爬取到你优化的网站,发现页面有更新,蜘蛛就会爬取到你的新内容,如果之后每天更新,那么蜘蛛也会养成习惯,每天定时来爬取你的网站。

  3.网站内容质量,质量高、可读性比较强的页面,搜索引擎抓取到就更容易收录,从而收录之后,给我们的页面权重也会有提高。下次也会继续来爬取我们的网站,因为搜索引擎就喜欢有价值的页面,可读性强的页面,语句符合逻辑的页面。

  4.导入链接,这种分为外部链接和内部链接,如果要蜘蛛来抓取一个页面,那么这个页面必须要有导入链接,要不然蜘蛛根本就不能够知道这个页面的存在,那么高质量的导入链接,可以很好的引导蜘蛛抓取我们页面。

  5.页面在首页有链接,一般来说我们在自己网站更新,更新的链接最好是要出现在首页,因为首页是权重最高的,蜘蛛访问最多,最频繁的也是我们的首页,如果首页有更新的链接,可以让蜘蛛更快更好的爬取到我们更新的页面,从而更好的收录我们的页面。

  这5点都关乎到你所优化的网站的收录问题,直接影响你网站的SEO优化效果好坏,所以网站SEO培训介意大家最好是做好这几点,另外有一些站长说到,在日志的文件发现蜘蛛,但是页面没有被收录。

  这个原因很见简单,如果蜘蛛在抓取你网站的时候,发现你的网站存在之前被抓取过的内容太过相似,会认为你的网站是抄袭或者复制别人的内容,很有可能就不会继续爬取你的网站了,从而造成蜘蛛来过,却不收录你的页面。

  作者:网奇SEO©最终修订

  转自:http://www.seoduan.com/seo-watch/798.html

  转载请以如上形式保留作者出处


路过

雷人

握手

鲜花

鸡蛋

QQ|SEO服务 ( 苏B2-20110049 )

GMT+8, 2021-5-7 12:31

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

返回顶部