一、项目需求
前言：BBS上每个id对应一个用户，他们注册时候会填写性别（男、女、保密三选一）。
经过检查，BBS注册用户的id对应1-300000，大概是30万的用户
笔者想用Python统计BBS上有多少注册用户，以及这些用户的性别分布
顺带可以统计最近活动用户是多少，其中男、女、保密各占多少
立即学习“Python免费学习笔记（深入）”；
活动用户的限定为“上次活动时间”为 2015年
二、最终结果
性别信息保存在文本里，一行表示一个用户的信息，各列分别表示
【行数，id（涂掉了），性别，最后活跃时间】
三、实现思路
用户性别信息在哪个页面?
得到下面个人主页
把后面的uid=256730数字改成其他数字，就可以得到其他人的主页。
另外，如果上面的链接无法得到性别，可以再通过这个链接，也是修改uid可以访问其他人主页。
http://rs.xidian.edu.cn/home.php?mod=space&uid=256730&do=profile
四、数据如何存储?
用数据库还是其他方案？
为了阅读方便，我们考虑用文本文件存储。
30万的用户存储在一个文本里会导致文本过大。如果程序被意外终止，30 万的用户数据需要重新爬取。
我们我们考虑一个文本里存放1000条记录，理论上可以用30个文本来存放30万条数据。
文本名称为correct1-1001.txt correct47001-48001.txt，注意：1-1001是[1,1001)，包含1，不包含1001
1、使用正则匹配找出性别
查看网页源代码
登录后复制性别女还可以找到活动时间–>上次发表时间2015-11-4 20:04
抱歉，您指定的用户空间不存在
我们可以利用re模块来进行正则匹配
sexRe = re.compile(u'em>u6027u522b(.*?)')timeRe = re.compile(u'em>u4e0au6b21u6d3bu52a8u65f6u95f4(.*?)')notexistRe = re.compile(u'(p>)u62b1u6b49uff0cu60a8u6307u5b9au7684u7528u6237u7a7au95f4u4e0du5b58u5728因为中文的原因，需要Unicode 转换 中文工具，可以用站长工具 Unicode 转换 ASCII，ASCII 转换 Unicode，比如下面这个链接： http://tool.chinaz.com/Tools/Unicode.aspx
登录后复制性别的Unicode 是 u6027u522b 上次活动时间 u4e0au6b21u6d3bu52a8u65f6u95f4 抱歉，您指定的用户空间不存在 u62b1u6b49uff0cu60a8u6307u5b9au7684u7528u6237u7a7au95f4u4e0du5b58u5728
这儿是简单获取性别的源代码，通过urllib2对链接myurl发送一个get请求，将得到的html保存下来。注意编码问题unicode(html, ‘utf-8’)，然后对html正则匹配seWord。
如果该用户有性别信息，返回对应的性别；否则，返回None
#对myurl页面进行seWord匹配查找#seWord是用unicode表示def getInfo(myurl, seWord): headers = { 'User-Agent': 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6' } req = urllib2.Request( url=myurl, headers=headers ) time.sleep(0.3) response = urllib2.urlopen(req) html = response.read() html = unicode(html, 'utf-8') #需要进行编码，否则找不到信息 timeMatch = seWord.search(html) #因为seWord是用unicode表示 if timeMatch: s = timeMatch.groups() return s[0] else: return None
登录后复制
五、错误处理
1、断网情况（热修复方案）
总共爬虫需要几天时间，用的校园网，中间可能有断网的可能。 如果发现断网，我们可以重新连上互联网，这中间有些用户的性别没有获取到。 程序运行时间较长，断一次网就重新从id=1开始跑是不科学的。而且你也不能保证这次就网一直是好的。 为了不让程序重头开始跑，所以我们是记录下断网中漏掉的用户id。 等一次程序跑完了（这需要几天的时间），我们再跑记录下来的id重新跑一次。
2、无法获取性别
这种有两种情况: 一是真的没有性别（用户没有填写） 二是服务器抽了，咱们请求网页失败了。 这种咱们也是和上面类似，记录下失败的id，后面再重新跑。
知识点小结
对于这种错误，SyntaxError: Non-ASCII character ‘�’ in file
需要在文件开头加上# -*- coding: UTF-8 -*-
因为 python 的默认编码文件是用的 ANSCII 码
BBS网页源代码使用utf-8进行编码的。
本项目设计到中文字符，自然会遇到编码问题。
import sysprint sys.getdefaultencoding()
登录后复制
输出 ascii
从上面的代码可以看出 sys.defaultencoding 是 ANSCII，ANSCII是无法对中文字符进行编码的。UTF-8是Unicode的实现方式之一，可以对中文字符进行编码。遇到中文字符，我们需要加上这行代码
reload(sys)# sys.setdefaultencoding('utf-8')
登录后复制
更改 sys.defaultencoding 为’utf-8′
后期整理的时候发现了自己一个小问题，因为正则表达式当时用unicode来表示的，所以需要把html进行unicode转换进行查找。
后来发现可以直接用汉字对原来的html进行查找。
# -*- coding: UTF-8 -*- html = response.read() sexRe = re.compile('em>性别(.*?)') timeMatch = sexRe.search(html) if timeMatch: s = timeMatch.groups() print "字符串 "+s[0] html = unicode(html, 'utf-8') sexRe = re.compile(u'em>u6027u522b(.*?)') timeMatch = sexRe.search(html) if timeMatch: s = timeMatch.groups() print "unicode " +s[0]
登录后复制
输出
字符串 女unicode 女 html = response.read() print len(html) html = unicode(html, 'utf-8') # print len(html)
登录后复制
输出
html = response.read() print len(html) html = unicode(html, 'utf-8') # print len(html)
登录后复制
输出
3542333658
登录后复制
以上就是python实现爬虫统计学校BBS男女比例的前期准备和方案分析，希望对大家的学习有所帮助。
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至253000106@qq.com举报，一经查实，本站将立刻删除。
发布者：PHP中文网，转转请注明出处：https://www.chuangxiangniao.com/p/2535172.html
