python爬虫如何获取带有超链接的文本字段
在网络抓取中，有时需要获取带有超链接的文本字段。但由于网页结构的特殊性，标准的xpath路径可能无法获取这些字段。本文将探讨如何修改代码以成功获取带有超链接的文本信息。
问题详情
如下例所示，一个网页中包含带有超链接的文本内容“绿色发展”。标准的xpath路径仅能获取到“也是”之前的文本内容，而无法获取“绿色发展”这四个字。
立即学习“Python免费学习笔记（深入）”；
解决方案
修改xpath路径
将xpath路径修改为获取所有
标签下的所有节点（包括文本和标签）：
content = html.xpath('//div[@class="f14 l24 news_content mt25 zoom"]/p//node()')
登录后复制处理内容
在处理获取到的内容时，需要区分文本节点和超链接标签。可以使用isinstance()函数进行判别：
for node in content: if isinstance(node, etree._ElementUnicodeResult): content_deal += node.strip() + "" elif isinstance(node, etree._Element) and node.tag == 'a': content_deal += node.text.strip() + ""
登录后复制
通过上述修改，代码就可以成功获取带有超链接的文本信息，从而全面获取网页正文。
以上就是如何使用Python爬虫获取带有超链接的文本字段？的详细内容，更多请关注【创想鸟】其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至253000106@qq.com举报，一经查实，本站将立刻删除。
发布者：PHP中文网，转转请注明出处：https://www.chuangxiangniao.com/p/2180506.html
