大家好，欢迎来到IT知识分享网。
有一天主管说你去了解下Robot.txt吧，当时一愣，这是个什么？原谅我不懂技术的懵逼脸，哈哈，然后就去研究了下，以下是研究结果，给跟我一样不懂技术的人看，哈哈~~
Robot英文直译是机器人,在搜索引擎优化SEO中经常翻译为:探测器。 当然，也可以叫crawler(爬行器),spider(蜘蛛)。个人觉得Spider是最好理解的，你可以想象下你的网站就是一个蜘蛛网，而这个Spider就可以通过这个网络去爬取信息，你可以通过设置Robot.txt来限制Spider的爬行范围。
Robots 三个语法和两个通配符
1，User-agent: 搜索引擎的spider代号 （定义所有搜索引擎）,
2，Disallow: 输入数据夹或文件名的路径 （用来定义禁止蜘蛛爬取的页面或目录）
Disallow: /（禁止蜘蛛爬取网站的所有目录 “/” 表示根目录下）
Disallow: /admin （禁止蜘蛛爬取admin目录）
Disallow: /ABC.html （禁止蜘蛛爬去abc.html页面）
Disallow: /help.html （禁止蜘蛛爬去help.html页面）
3、Allow:（用来定义允许蜘蛛爬取的页面或子目录）
Allow: /admin/test/（允许蜘蛛爬取admin下的test目录）
Allow: /admin/ABC.html（允许蜘蛛爬去admin目录中的abc.html页面）
4、通配符 “$”
$ 通配符：匹配URL结尾的字符
5、通配符 “*”
* 通配符：匹配0个或多个任意字符
免责声明：本站所有文章内容,图片，视频等均是来源于用户投稿和互联网及文摘转载整编而成，不代表本站观点，不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益，请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权，请联系删除，如若转载，请注明出处：https://yundeesoft.com/71760.html
