中企网络科技
  • 网站客服13629274615
  • 网站客服
西安网站设计公司-robots.txt文件的格式?
作者:中企网络科技 / 更新时间:2021-07-26 / 浏览次数:
  什么是robots文件
 
  robots是站点与spider沟通的重要渠道,站点通过robots文件声明该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。请注意,仅当您的网站包含不希望被搜索引擎收录的内容时,才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容,请勿建立robots.txt文件。为了避免站长在设置robots文件时出现,百度站长平台特别推出了robots工具,帮助站长正确设置robots。
 
  在该文件中可以使用#进行注解,具体使用方法和UNIX中的惯例一样。该文件中的记录通常以一行或多行User-agent开始,后面加上若干Disallow和Allow行,详细情况如下:
 
  User-agent:该项的值用于描述搜索引擎robot的名字。在"robots.txt"文件中,如果有多条User-agent记录说明有多个robot会受到"robots.txt"的限制,对该文件来说,至少要有一条User-agent记录。如果该项的值设为*,则对任何robot均有效,在"robots.txt"文件中,"User-agent:*"这样的记录只能有一条。如果在"robots.txt"文件中,加入"User-agent:SomeBot"和若干Disallow、Allow行,那么名为"SomeBot"只受到"User-agent:SomeBot"后面的 Disallow和Allow行的限制。
 
  Disallow:该项的值用于描述不希望被访问的一组URL,这个值可以是一条完整的路径,也可以是路径的非空前缀,以Disallow项的值开头的URL不会被 robot访问。例如"Disallow:/help"禁止robot访问/help.html、/helpabc.html、/help/index.html,而"Disallow:/help/"则允许robot访问/help.html、/helpabc.html,不能访问/help/index.html。"Disallow:"说明允许robot访问该网站的所有url,在"/robots.txt"文件中,至少要有一条Disallow记录。如果"/robots.txt"不存在或者为空文件,则对于所有的搜索引擎robot,该网站都是开放的。
 
  Allow:该项的值用于描述希望被访问的一组URL,与Disallow项相似,这个值可以是一条完整的路径,也可以是路径的前缀,以Allow项的值开头的URL 是允许robot访问的。例如"Allow:/hibaidu"允许robot访问/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。一个网站的所有URL默认是Allow的,所以Allow通常与Disallow搭配使用,实现允许访问一部分网页同时禁止访问其它所有URL的功能。
 
  
【中企业务】网站建设、网站设计、服务器空间租售、网站维护、网站代运营、网站托管、网站优化、seo优化、百度推广、自媒体营销、微信公众号、网站定制开发、仿站、小程序开发、app开发等;
如有意向---联系我们
热门栏目
热门标签
热门资讯

热门关键词:     西安网站建设     西安网站维护     西安全网营销     西安网站SEO优化     营销型网站建设     响应式网站建设     外贸网站建设     西安品牌网站建设     西安小程序开发     西安品牌设计     301重定向     锚文本     长尾关键词     meta标签     网页标题如何写     网站快速排名     网站收录     外链发布     云服务器     域名备案     网站关键词     alt标签     网站被K怎么办     robots.txt文件     搜索引擎     网站内链     蜘蛛抓取     网站降权     网站搬家     网站死链     网站改版     404页面设置     h1标签     关键词密度     网页描述     SEO优化案例     网站用户体验     域名被墙     seo快排技术     网站标签     旅游网站解决方案     网站快照     百度索引     网站权重

网站建设

营销网站定制

响应式站制作

商城网站开发

外贸网站建设

网站推广

网站SEO优化

网站运维托管

全网营销推广

品牌形象设计

小程序业务

微信小程序

百度小程序

微信H5商城

抖音小程序

中企观点

网站建设

SEO优化

网站运维

行业新闻

客户案例

营销定制案例

H5响应式案例

品牌设计案例

SEO优化案例

关于我们

关于我们

联系我们

服务流程

人才招聘



微信扫一扫咨询

Copyright © 2011-2021 陕西中企网络科技有限公司  8年建站经验 期待您的咨询 部分素材来源于网络,如有侵犯,联系删除   陕ICP备19019943号-7 - 分站导航 - 网站地图 - 友链交换 - 网站提交

地址:陕西省西安市未央区三桥新街金桥国际2107  咨询QQ:540383622136545581     联系邮箱:yaoaijun@zhooqi.com     手机:13629274615 / 18392455188(同微信) 电话:029-84538663