Python爬虫:通过关键字爬取百度图片

使用工具:python2.7 

scrapy框架

sublime text3

一。搭建python(Windows版本)

 1.安装python2.7 —然后在cmd当中输入python,界面如下则安装成功

立即学习“Python免费学习笔记(深入)”;

Python爬虫:通过关键字爬取百度图片

 2.集成Scrapy框架—-输入命令行:pip install Scrapy

Python爬虫:通过关键字爬取百度图片

安装成功界面如下:

Python爬虫:通过关键字爬取百度图片

失败的情况很多,举例一种:

Python爬虫:通过关键字爬取百度图片

解决方案:

其余错误可百度搜索。

二。开始编程。

python代码如下:

Python爬虫:通过关键字爬取百度图片

代码注释:引入了两个模块urllib,re。定义两个函数,第一个函数是获取整个目标网页数据,第二个函数是在目标网页中获取目标图片,遍历网页,并且给获取的图片按照0开始排序。

注:re模块知识点:

Python爬虫:通过关键字爬取百度图片

爬取图片效果图:

Python爬虫:通过关键字爬取百度图片

图片保存路径默认在建立的.py同目录文件下。

2.爬取有反爬虫措施的百度图片。如百度图片等。

例如关键字搜索“表情包”https://image.baidu.com/search/index?tn=baiduimage&ct=201326592&lm=-1&cl=2&ie=gbk&word=%B1%ED%C7%E9%B0%FC&fr=ala&ori_query=%E8%A1%A8%E6%83%85%E5%8C%85&ala=0&alatpl=sp&pos=0&hs=2&xthttps=111111

图片采用滚动式加载,先爬取最优先的30张。

代码如下:

Python爬虫:通过关键字爬取百度图片

代码注释:导入4个模块,os模块用于指定保存路径。前两个函数同上。第三个函数使用了if语句,并tryException异常。

爬取过程如下:

Python爬虫:通过关键字爬取百度图片

爬取结果:

Python爬虫:通过关键字爬取百度图片

注:编写python代码注重对齐,and不能混用Tab和空格,易报错。

更多Python爬虫:通过关键字爬取百度图片相关文章请关注PHP中文网!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至253000106@qq.com举报,一经查实,本站将立刻删除。

发布者:PHP中文网,转转请注明出处:https://www.chuangxiangniao.com/p/2279469.html

(0)
上一篇 2025年2月27日 17:27:13
下一篇 2025年2月27日 17:27:37

AD推荐 黄金广告位招租... 更多推荐

相关推荐

  • python实现简单爬虫功能

      在我们日常上网浏览网页的时候,经常会看到一些好看的图片,我们就希望把这些图片保存下载,或者用户用来做桌面壁纸,或者用来做设计的素材。   我们最常规的做法就是通过鼠标右键,选择另存为。但有些图片鼠标右键的时候并没有另存为选项,还有办法就…

    2025年2月27日
    200
  • Python网络爬虫功能的基本写法介绍

    这篇文章主要介绍了python网络爬虫功能的基本写法,网络爬虫,即web spider,是一个很形象的名字。把互联网比喻成一个蜘蛛网,那么spider就是在网上爬来爬去的蜘蛛,对网络爬虫感兴趣的朋友可以参考本文 网络爬虫,即Web Spid…

    编程技术 2025年2月27日
    300
  • 利用python实现多线程抓取知乎用户方法

    需要用到的包: beautifulsoup4 登录后复制 html5lib 登录后复制 image 登录后复制 requests 登录后复制 redis 登录后复制 PyMySQL 登录后复制 pip安装所有依赖包: pip install…

    2025年2月27日
    300
  • python爬虫是什么?为什么把python叫做爬虫?

    今天我们来讲解python的基本概念性的知识。很多刚接触python的朋友有很多疑问,python爬虫是什么?那又为什么把python叫做爬虫? python爬虫是什么? 在进入文章之前,我们首先需要知道什么是爬虫。爬虫,即网络爬虫,大家可…

    2025年2月27日
    300

发表回复

登录后才能评论