今天百度站长工具更新了robots提示功能,站长在robots.txt制作后,通过站长平台可以直观的了解到那些是搜索引擎可抓取、那些是被屏蔽的,避免因疏忽而屏蔽蜘蛛,导致收录减少。
因为我之前一直用Google的robots工具制作,比起Google网管工具的来更直观,不会制作robots的站长朋友可以使用此工具,如下图所示:
小知识:robots.txt可以告诉搜索引擎您的网站哪些页面可以被收录,哪些页面不可以被收录,如果您不想让搜索引擎收录您网站的某些内容,请用robots.txt文件指定搜索引擎在您网站上的抓取范围。robots.txt制作好后放到网站「根目录」就可以拉!
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至253000106@qq.com举报,一经查实,本站将立刻删除。
发布者:卢松松,转转请注明出处:https://www.chuangxiangniao.com/p/1070777.html