A5站长网SEO团队 首页 SEO百科 查看内容

什么是robots.txt

2016-11-10 16:24| 发布者: 黄忠| 查看: 2160| 评论: 0

  在网站建设过程中我们会有一部分内容不希望被搜索引擎抓取到或者不希望其在互联网中出现,那么要怎么办呢?我要怎么跟搜索引擎说你不要抓取我的xx内容呢?这时候robots就派上用场了。

  Robots.txt是存放于网站根目录下用于规定搜索引擎对网站内容抓取范围的文本文件,就这么一句话可以解释robots.txt是什么,但是我们需要注意的几点:

  1.robots.txt必须存放在网站的根目录下。

  2.其命名必须为robots.txt

  3.Robots.txt是搜索引擎访问网站的第一个页面

  4.Robots.txt中必须指明user-agent


路过

雷人

握手

鲜花

鸡蛋

QQ|SEO服务 ( 苏B2-20110049 )

GMT+8, 2024-3-29 21:49

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

返回顶部