浅谈百度爬虫的HTTP状态码返回机制

研究seo的一定很了解下面这些返回码的含义了,对于这些不是很熟悉的朋友也应该了解一下基本的比如200是请求成功,301重定向,404找不到等等。下面首先会介绍一下百度对于各个状态吗的处理逻辑。

百度 spider 对常用的 http 返回码的处理逻辑是这样的 :

404 404返回码的含义是“NOT FOUND”,百度会认为网页已经失效,那么通常会从搜索结果中删除,并且短期内spider再次发现这条url也不会抓取。

503 503返回码的含义是“Service Unavailable”,百度会认为该网页临时不可访问,通常网站临时关闭,带宽有限等会产生这种情况。对于网页返回503,百度spider不会把这条url直接删除,短期内会再访问。届时如果网页已恢复,则正常抓取;如果继续返回503,短期内还会反复访问几次。但是如果网页长期返回503,那么这个url仍会被百度认为是失效链接,从搜索结果中删除。

403 403返回码的含义是“Forbidden”,百度会认为网页当前禁止访问。对于这种情况,如果是新发现的url,百度spider暂不 会抓取,短期内会再次检查;如果是百度已收录url,当前也不 会直接删除,短期内同样会再访问。届时如果网页允许访问, 则正常抓取;如果仍不允许访问,短期内还会反复访问几次。 但是如果网页长期返回403,百度也会认为是失效链接,从搜索结果中删除。

301 301返回码的含义是“Moved Permanently”,百度会认为 网页当前跳转至新url。当遇到站点迁移,域名更换、站点改版的情况时,推荐使用301返回码,尽量减少改版带来的流量损 失。虽然百度spider现在对301跳转的响应周期较长,但我们 还是推荐大家这么做。

如果站点临时关闭,当网页不能打开时,不要立即返回404,建议使用503状态。503可以告知百度spider该页面临时不可访问,请过段时间再重试。

如果百度spider对您的站点抓取压力过大,请尽量不要使用404,同样建议返回503。这样百度spider会过段时间再来尝试抓取这个链接,如果那个时间站点空闲,那它就会被成功抓取了。

有一些网站希望百度只收录部分内容,例如审核后的内容,累积一段时间的新用户页等等。在这种情况,建议新发内容暂时返回403,等审核或做好处理之后,再返回正常状态的返回码。

站点迁移,或域名更换时,请使用301返回码。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至253000106@qq.com举报,一经查实,本站将立刻删除。

发布者:SEO优化专员,转转请注明出处:https://www.chuangxiangniao.com/p/895825.html

(0)
上一篇 2025年1月4日 00:25:55
下一篇 2025年1月4日 00:26:28

AD推荐 黄金广告位招租... 更多推荐

相关推荐

  • SSL证书如何选择?HTTPS证书购买指南

    SSL证书,又叫服务器证书、HTTPS证书,它是数字证书的一种,由受信任的数字证书颁发机构CA颁发,具有身份验证和数据传输加密功能。过去的一年,全球包括Google、FireFox等各大主流浏览器都在推动站点加密。SSL证书在国内呈现出爆发…

    安全 2025年1月4日
    100
  • 天威诚信:HTTPS加密升级迫在眉睫

    7月即将发布的Chrome68将标记所有HTTP页面为“不安全” 时间已进入7月,谷歌最新版本的Chrome68浏览器发布在即,天威诚信提示:如果你的网站还未实现HTTPS加密,你将会经历一场灾难,HTTPS加密迫在眉睫! 早在今年2月时,…

    安全 2025年1月4日
    100
  • 你的网站离HTTPS加密只差一个SSL证书的距离!

    如今人们的生活对互联网的依赖度越来越高,但互联网也是一把双刃剑,在为用户提供方便之时,也容易导致用户的隐私出现泄漏,所以保护用户隐私是很重要的。 在网络环境中以HTTP协议传输账户和密码将会给用户带来巨大的安全威胁,这种协议下用户的个人隐私…

    安全 2025年1月4日
    100
  • https证书申请经验:我是如何成功申请Comodo SSL证书的

    现在谷歌、火狐等浏览器开始对传统HTTP协议网站标识不安全提醒,这要求从事外贸网站营销的人作出改变:网站升级为HTTPS协议。笔者从事外贸近10年,一直是通过自己的外贸网站与海外客户沟通、交易,为了不影响海外客户正常访问网站,网站升级成HT…

    安全 2025年1月4日
    100
  • 惊吓:HTTP站点为危险网站代名词 chrome浏览器立新标准

    谷歌将在7月24日推出针对台式机的Chrome 68,为了将互联网用户转移到一个更安全的网络,访问未加密网站的Chrome用户将收到警告。使用最新版本的谷歌Chrome浏览器,所有HTTP网站都会被标记为“不安全”。谷歌早在2月份,word…

    安全 2025年1月4日
    100
  • 网站升级到HTTPS!SSL证书选购指南

    7月24日,谷歌浏览器Chrome 68正式发布,其中最为关注的一点就是只要通过该版本浏览器访问未加密的HTTP网站,全部被标记为“不安全”。Chrome浏览器目前在PC端市场份额稳居第一,因此大部分HTTP网站将会受到影响,升级到HTTP…

    安全 2025年1月4日
    100
  • http与https的区别,ssl证书升级必要性

    https对于大部分人来说,意味着比较安全。相比http,让人更加放心。但是作为普通网民,对http与https区别,以及https升级流程操作,下面详细介绍。 一、什么是HTTP HTTP是互联网上应用最为广泛的一种网络协议,是一个客户端…

    安全 2025年1月4日
    100
  • HTTPS也不安全?No,只因没有避开这个误区

    当我们在咖啡馆连上WiFi打开网页和邮箱时,殊不知有人正在监视着我们的各种网络活动。在打开账户网页的一瞬间,也许黑客就已经盗取了我们的银行凭证、家庭住址、电子邮件和联系人信息,而这一切我们却毫不知情。这是一种网络上常见的“中间人攻击”(Ma…

    安全 2025年1月4日
    100
  • 你的人生只值50美元,Http早已是黑客驰骋的“游乐场”

    你想过我们的个人数据在黑市上能值多少钱吗?1万?5万?还是10万? 近日,卡巴斯基实验室(Kaspersky Lab)对暗网市场进行了调查,研究人员发现,罪犯可以用低于50美元的价格出售某人的完整数字生活,比单个被黑账户的价格要低得多,大多…

    安全 2025年1月4日
    100
  • 网站HTTPS改造全程详解

     一直用的是360浏览器管理自己的网站,有一次在朋友电脑用谷歌浏览器查看自己的网站,发现谷歌浏览器在网站地址栏前面标注不安全,还以为网站出啥漏洞了,后来发现是虚惊一场,原因是谷歌对未安装SSL证书的网站都提示安全风险,后来查了一大堆资料,发…

    2025年1月4日 安全
    100

发表回复

登录后才能评论

联系我们

156-6553-5169

在线咨询: QQ交谈

邮件:253000106@qq.com

工作时间:周一至周五,9:30-18:30,节假日休息

联系微信