300

用 python 写的爬虫，有哪些提高的技能？

背景说明：我初学python爬虫，要爬国内某网站上的数据做数据分析用，数据总共大约有 15e6 条，在这个网站上每个页面有 15 条数据。也就是说大约有 1e6 的页面要爬取。目前爬取方案：获取html页面后用正则表达式匹配。在把匹配后的插入数据库中。我开了3个线程，分别从 0 ， 1/3 ，2/3 出开始爬取。开多线程虽然有常数的优化，但是本身基数就很大，优化很不明显。现在想学习解决的问题：1，…
编程技术
- 3
- 0
PHP中文网2月28日
Python 多线程效率不高吗？

用scapy发送icmp包。开了200个线程，每个线程发送一个包后结束。测试了下只有300包/sec的速度，是python的多线程效率不高的问题吗？---------------------------------------后来发现不是多线程的问题，是scapy本来发包就慢的问题。单线程scapy每秒几个包，多线程最多每秒60.用C写的话每秒3w..回复内容：Python由于有全锁局的存在（同一…
编程技术
- 2
- 0
PHP中文网2月28日

解锁会员权限

个人中心

购物车

优惠劵

今日签到

私信列表

搜索