Python爬虫如何完整提取包含在超链接中的网页文本?

python爬虫如何完整提取包含在超链接中的网页文本?

Python爬虫:完整提取超链接中的网页文本

在使用Python爬虫抓取网页信息时,经常遇到文本嵌套在标签中的情况。直接使用text()方法会忽略标签内的内容,导致信息丢失。本文提供一种解决方案,确保完整提取所有文本信息。

问题:

爬取新闻网站时,部分文本位于标签内,导致XPath表达式//div[@class=”f14 l24 news_content mt25zoom”]/p/text()无法完整提取文本。“绿色发展”等词语因嵌套在标签中而被遗漏。

立即学习“Python免费学习笔记(深入)”;

原始代码使用//div[@class=”f14 l24 news_content mt25zoom”]/p/text()仅提取文本节点,忽略标签及其内容。

解决方案:

修改XPath表达式并进行节点类型判断,分别处理文本节点和标签节点。

首先,将XPath表达式修改为//div[@class=”f14 l24 news_content mt25 zoom”]/p//node()。//node()提取所有子节点,包括文本节点和标签。

然后,遍历所有节点,判断节点类型。如果是文本节点,直接提取文本;如果是标签节点,提取标签的文本内容。

改进后的代码如下:

import requestsfrom lxml import etreebase_url = "https://www.solidwaste.com.cn/news/342864.html"resp = requests.get(url=base_url)html = etree.HTML(resp.text)# 稳健的编码处理encod = html.xpath('//meta[1]/@content')if encod:    encod = encod[0].split("=")[-1]    resp.encoding = encod    html = etree.HTML(resp.text)content = html.xpath('//div[@class="f14 l24 news_content mt25 zoom"]/p//node()')content_deal = ""for node in content:    if isinstance(node, etree._ElementUnicodeResult):        content_deal += node.strip() + "\n"    elif isinstance(node, etree._Element) and node.tag == 'a':        content_deal += node.text.strip() + "\n"print(content_deal)

登录后复制

通过以上改进,代码能够完整提取标签内的文本内容,避免信息丢失。 代码中对编码处理进行了优化,避免了因=号重复出现导致的错误。

以上就是Python爬虫如何完整提取包含在超链接中的网页文本?的详细内容,更多请关注【创想鸟】其它相关文章!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至253000106@qq.com举报,一经查实,本站将立刻删除。

发布者:PHP中文网,转转请注明出处:https://www.chuangxiangniao.com/p/3170630.html

(0)
上一篇 2025年3月31日 09:56:11
下一篇 2025年3月31日 09:56:16

AD推荐 黄金广告位招租... 更多推荐

相关推荐

发表回复

登录后才能评论