A5站长网SEO团队 首页 SEO问答 查看内容

Robots.txt 文件应放在哪里?

2013-11-7 16:25| 发布者: 黄忠| 查看: 403| 评论: 0

  Robots.txt 文件必须放在网站的根目录。放在子目录的 Robots.txt 文件搜索引擎不能爬取到,所以不会起任何作用。

  例子:

  http://www.xxxx.com/robots.txt 有效

  http://www.xxxx.com/bbs/robots.txt 无效

  如果你不能控制根目录的 robots.txt,则你可以通过在子目录网页中使用标签阻止网页被收录。


路过

雷人

握手

鲜花

鸡蛋

QQ|SEO服务 ( 苏B2-20110049 )

GMT+8, 2021-8-3 05:01

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

返回顶部