更新时间：2025-01-16 03:59:14
网站建设
407网站制作公司推来客（www.tlkjt.com）：误区一、Allow覆盖的比Disallow多，位置在Disallow的前面。
比如很多人写：
用户代理：*
允许： /
Disallow: /mulu/
我想让所有的蜘蛛爬取本站除了/mulu/下的url之外的所有页面，禁止爬取/mulu/下的所有url。
SEO网站优化搜索引擎蜘蛛从上到下执行规则，这会导致第二句失败。也就是说，禁止爬取/mulu/目录的规则是无效的。正确的是Disallow应该在Allow之上，这样才会生效。
误区二、Disallow命令和Allow命令后没有斜杠“/”。
这也很容易被忽视。比如有人这样写Disallow: 123.html，没有效果。斜杠“/”表示文件所在的位置到根目录。如果不包含，自然无法确定是哪个url，所以是错误的。
正确的应该是Disallow: /123.html，这样就可以屏蔽/123.html这个文件，这条规则才能生效。
误区三、屏蔽目录后没有斜杠“/”。
也就是比如你要屏蔽/mulu/目录的爬取，有人这样写Disallow: /mulu。那么这是正确的吗？
首先，这样写（Disallow: /mulu）确实可以屏蔽所有/mulu/下的url，但是也屏蔽了所有像/mulu123.html这样以/mulu开头的页面，效果等同于Disallow: /mulu*。
正确的做法是，如果只想屏蔽目录，必须在末尾加上斜杠“/”。
本文发表于北京网站制作公司推来客//www.tlkjt.com/
我们专注高端建站，小程序开发、软件系统定制开发、BUG修复、物联网开发、各类API接口对接开发等。十余年开发经验，每一个项目承诺做到满意为止，多一次对比，一定让您多一份收获！
