scrapy crawlspider 中 deny 设置不起作用？
在 crawlspider 中，deny 设置可用于阻止爬取特定 url 链接。然而，根据提供的代码片段，deny 设置似乎没有正常工作，仍然爬取了包含 “guba” 的链接。
此问题可能是由于以下原因造成的：
deny 参数不是正则表达式
deny 参数必须是正则表达式，否则只有 url 完全匹配才可以被阻止。代码片段中使用的字符串不是正则表达式，因此它将只阻止完全匹配这些字符串的 url。
为了解决这个问题，需要将 deny 参数中的字符串修改为正则表达式。例如：
deny=(r'guba', r'data', r'fund.*.eastmoney.com/d+.html', r'.*so.eastmoney.*', r'/gonggao/')
登录后复制
这样一来，代码将阻止包含 “guba”、”data”、符合正则表达式 “fund..eastmoney.com/d+.html”、符合正则表达式 “.so.eastmoney.*” 和 “/gonggao/” 的链接。
以上就是CrawlSpider 中 Deny 设置不起作用？如何正确使用 Deny 阻止特定 URL 链接？的详细内容，更多请关注【创想鸟】其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至253000106@qq.com举报，一经查实，本站将立刻删除。
发布者：PHP中文网，转转请注明出处：https://www.chuangxiangniao.com/p/2186692.html
