说道爬虫大家或许感觉非常神秘，其实它没有我们想象的那么神奇（当然，google和baidu的爬虫是一场复杂和强大的，它的强大不是爬虫本身强大，而是后台的数据处理和数据挖掘算法非常强大），今天我们就来揭开它神秘的面纱。呵呵，简单两步就可以实现一个网页天气爬虫程序。。。
爬虫简单说来包括两个部分：1.获得网页文本信息。2.数据分析，获取其中我们想要的数据。
1、获得网页文本信息。
python在获取html方面十分方便，有了urllib库的帮助，只需要几行代码就可以实现我们需要的功能。
#引入urllib库import urllibdef getHtml(url):page = urllib.urlopen(url)html = page.read()page.close()return html
登录后复制
这里返回的就是网页的源代码，也就是html代码。
那我们如何从中得到我们想要的信息呢？那就需要用到在网页分析里面最最常用的工具 – 正则表达式 了。
立即学习“Python免费学习笔记（深入）”；
2、根据正则表达式等获得需要的内容。
使用正则表达式时需要仔细观察该网页信息的结构，并写出正确的正则表达式。
python正则表达式的使用也很简洁：
#引入正则表达式库import redef getWeather(html):reg = '(.*?).*?(.*?).*?(.*?)'weatherList = re.compile(reg).findall(html)return weatherList
登录后复制
说明：
其中reg是正则表达式，html是第一步获得的文本。findall的作用是找到html中所有符合正则匹配的字符串并存放到weatherList中。之后再枚举weatheList中的数据输出即可。
这里的正则表达式reg有两个地方要注意。
一个是“(.*?)”。只要是（）中的内容都是我们将要获得的内容，如果有多个括号，那么findall的每个结果就都包含这几个括号中的内容。上面有三个括号，分别对应城市、最低温和最高温。
另一个是“.*?”。python的正则匹配默认是贪婪的，即默认尽可能多地匹配字符串。如果在末尾加上问号，则表示非贪婪模式，即尽可能少地匹配字符串。在这里，由于有多个城市的信息需要匹配，所以需要使用非贪婪模式，否则匹配结果只剩下一个，且是不正确的。
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至253000106@qq.com举报，一经查实，本站将立刻删除。
发布者：PHP中文网，转转请注明出处：https://www.chuangxiangniao.com/p/2284180.html
