/1 前言/
/2 项目目标/
获取猫眼电影的即将上映的电影详情。
/3 项目准备/
软件：PyCharm
需要的库：requests、lxml、random、time
插件：Xpath
网站如下：
https://maoyan.com/films?showType=2&offset={}
登录后复制
点击下一页的按钮，观察到网站的变化分别如下：
https://maoyan.com/films?showType=2&offset=30https://maoyan.com/films?showType=2&offset=60https://maoyan.com/films?showType=2&offset=90
登录后复制
点击下一页时，页面每增加一页offset=()每次增加30，所以可以用{}代替变换的变量，再用for循环遍历这网址，实现多个网址请求。
/4 项目实现/
1、定义一个class类继承object，定义init方法继承self，主函数main继承self。导入需要的库和网址，代码如下所示。
import requestsfrom lxml import etreeimport timeimport randomclass MaoyanSpider(object): def __init__(self): self.url = "https://maoyan.com/films?showType=2&offset={}" def main(self): passif __name__ == '__main__': spider = MaoyanSpider() spider.main()
登录后复制
2、随机产生UserAgent。
for i in range(1, 50): # ua.random,一定要写在这里,每次请求都会随机选择。 self.headers = { 'User-Agent': ua.random, }
登录后复制
3、发送请求，获取页面响应。
def get_page(self, url): # random.choice一定要写在这里,每次请求都会随机选择 res = requests.get(url, headers=self.headers) res.encoding = 'utf-8' html = res.text self.parse_page(html)
登录后复制
4、xpath解析一级页面数据，获取页面信息。
1）基准xpath节点对象列表。
# 创建解析对象parse_html = etree.HTML(html)# 基准xpath节点对象列表dd_list = parse_html.xpath('//dl[@class="movie-list"]//dd')
登录后复制
2）依次遍历每个节点对象，提取数据。
for dd in dd_list: name = dd.xpath('.//div[@class="movie-hover-title"]//span[@class="name noscore"]/text()')[0].strip() star = dd.xpath('.//div[@class="movie-hover-info"]//div[@class="movie-hover-title"][3]/text()')[1].strip() type = dd.xpath('.//div[@class="movie-hover-info"]//div[@class="movie-hover-title"][2]/text()')[1].strip() dowld=dd.xpath('.//div[@class="movie-item-hover"]/a/@href')[0].strip() # print(movie_dict) movie = '''【即将上映】
登录后复制
5、定义movie，保存打印数据。
movie = '''【即将上映】 电影名字: %s主演：%s类型：%s详情链接：https://maoyan.com%s========================================================= ''' % (name, star, type,dowld)print( movie)
登录后复制
6、random.randint()方法，设置时间延时。
time.sleep(random.randint(1, 3))
登录后复制
7、调用方法，实现功能。
html = self.get_page(url)self.parse_page(html)
登录后复制
/5 效果展示/
1、点击绿色小三角运行输入起始页，终止页。
2、运行程序后，结果显示在控制台，如下图所示。
3、点击蓝色下载链接, 网络查看详情。
/6 小结/
1、不建议抓取太多数据，容易对服务器造成负载，浅尝辄止即可。
2、本文基于Python网络爬虫，利用爬虫库，实现爬取猫眼电影。
以上就是用Python网络爬虫来看看最近电影院都有哪些上映的电影的详细内容，更多请关注【创想鸟】其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至253000106@qq.com举报，一经查实，本站将立刻删除。
发布者：PHP中文网，转转请注明出处：https://www.chuangxiangniao.com/p/2229960.html
