13629274615-
13629274615
robots即robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol)，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。
利用robots,可以屏蔽一些网站中比较大的文件，如：图片，音乐，视频等，节省服务器带宽;可以屏蔽站点的一些死链接,提升用户搜索体验。robots还可以导引搜索引擎抓取网站内容，如设置网站地图连接，可以导引引导蜘蛛爬取页面。
robots.txt文件应该放置在网站根目录下。当spider访问一个网站时，首先会检查该网站中是否存在robots.txt这个文件，如果Spider找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。
robots.txt文件的写法，请查看robots.txt文件的格式。
建站SEO咨询
小程序咨询
建站SEO咨询
小程序咨询
Copyright © 2015-2022 陕西中企网络科技有限公司
陕ICP备19019943号 
陕公网安备：61011202000488 部分素材来源于网络，如有侵犯，联系删除
分站导航 -
友链交换 - 网站提交
地址：陕西省西安市未央区三桥新街金桥国际2107 咨询QQ：540383622、136545581 联系邮箱：yaoaijun@zhooqi.com 手机：13629274615 / 18392455188（同微信） 电话：029-84538663
中企小编带你了解588元网站模板背后
包装印刷企业官网建设方案：从展示窗口
网站制作Js实现滑动时网站导航栏背景
.com和.cn以及.net的域名区
自主（自助）建站需要什么样的专业知识
做一个B2C商城小程序需要多少钱？
在线咨询
QQ咨询
13629274615 