Scrapy常用命令行工具介绍

查看所有命令

scrapy -h

登录后复制

查看帮助信息

scapy --help

登录后复制

查看版本信息

(venv)ql@ql:~$ scrapy versionScrapy 1.1.2(venv)ql@ql:~$ (venv)ql@ql:~$ scrapy version -vScrapy    : 1.1.2lxml      : 3.6.4.0libxml2   : 2.9.4Twisted   : 16.4.0Python    : 2.7.12 (default, Jul  1 2016, 15:12:24) - [GCC 5.4.0 20160609]pyOpenSSL : 16.1.0 (OpenSSL 1.0.2g-fips  1 Mar 2016)Platform  : Linux-4.4.0-36-generic-x86_64-with-Ubuntu-16.04-xenial(venv)ql@ql:~$

登录后复制

新建一个工程

scrapy startproject spider_name

构建爬虫genspider(generator spider)

一个工程中可以存在多个spider, 但是名字必须唯一

scrapy genspider name domain#如:#scrapy genspider sohu sohu.org

查看当前项目内有多少爬虫

scrapy list

view使用浏览器打开网页

scrapy view www.baidu.com

shell命令, 进入scrpay交互环境

#进入该url的交互环境scrapy shell www.dmoz.org/Computers/Programming/Languages/Python/Books/

之后便进入交互环境
我们主要使用这里面的response命令, 例如可以使用

response.xpath()    #括号里直接加xpath路径

runspider命令用于直接运行创建的爬虫, 并不会运行整个项目

scrapy runspider 爬虫名称

以上就是Scrapy常用命令行工具介绍的详细内容,更多请关注【创想鸟】其它相关文章!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至253000106@qq.com举报,一经查实,本站将立刻删除。

发布者:PHP中文网,转转请注明出处:https://www.chuangxiangniao.com/p/2270275.html

(0)
上一篇 2025年2月27日 11:36:42
下一篇 2025年2月27日 03:32:01

AD推荐 黄金广告位招租... 更多推荐

相关推荐

  • 如何抓取斗图网的最新表情图?

      一:目标 第一次使用scrapy框架遇到很多坑,坚持去搜索,修改代码就可以解决问题。这次爬取的是一个斗图网站的最新表情图片www.doutula.com/photo/list,练习使用scrapy框架并且使用的随机user agent防…

    2025年2月27日 编程技术
    200
  • 分享一篇python scrapy ip代理的设置实例

    在scrapy项目中建一个与spider同级的python目录并在下面添加一个py文件内容为 # encoding: utf-8import base64proxyServer = 代理服务器地址 ##我的是‘:9010’# 代理隧道验证信…

    编程技术 2025年2月27日
    200
  • 豆瓣电影图片爬取实例

    一、先上效果    二、安装Scrapy和使用   官方网址:。   安装命令:pip install Scrapy   安装完成,使用默认模板新建一个项目,命令:scrapy startproject xx      上图很形象的说明了,…

    2025年2月27日
    200
  • scrapy抓取学院新闻报告实例

    抓取四川大学公共管理学院官网()所有的新闻咨询. 实验流程 1.确定抓取目标.2.制定抓取规则.3.’编写/调试’抓取规则.4.获得抓取数据 1.确定抓取目标 我们这次需要抓取的目标为四川大学公共管理学院的所有新闻资…

    2025年2月27日 编程技术
    200
  • Python开发(3):Python基本数据类型

    运算符 1、算数运算: 2、比较运算: 3、赋值运算: 立即学习“Python免费学习笔记(深入)”; 4、逻辑运算: 5、成员运算: 基本数据类型 1、数字 int(整型)   在32位机器上,整数的位数为32位,取值范围为-2**31~…

    2025年2月27日 编程技术
    200
  • Scrapy安装教程 pip 或 conda 两种安装方法.

      cmd: pip -V    查看pip版本 pip install –upgrade pip        升级最高版本     安装Pywin32 虽然写amd64 但是其实是intel也可以用的   [推荐]如果是an…

    2025年2月27日
    200
  • 安装Scrapy教程

    scrapy,是基于python的网络爬虫框架,它能从网络上爬下来信息,是data获取的一个好方式。于是想安装下看看。 进到它的官网,安装的介绍页面 有3种装法,一个是从pip,一个是从源码编译,一个是从conda 根据之前的知识,pip就…

    编程技术 2025年2月27日
    200
  • urllib.request库的使用基础

    所谓网页抓取,就是把url地址中指定的网络资源从网络流中读取出来,保存到本地。在python中有很多库可以用来抓取网页,我们先学习urllib.request。(在python2.x中为urllib2) urlopen 我们先阅读以下代码:…

    编程技术 2025年2月27日
    200
  • Python基本语法大全

    1、python的对汉字的支持 #!/usr/bin/python#coding: UTF-8 print “你好,世界”; 2、Python标识符 在python里,标识符有字母、数字、下划线组成。 在python…

    编程技术 2025年2月27日
    200
  • Python中基本且又常用的算法

    这篇文章主要学习python常用算法,python常用排序算法,具有一定的参考价值,感兴趣的小伙伴们可以参考一下 本节内容 算法定义时间复杂度空间复杂度常用算法实例 1.算法定义 算法(Algorithm)是指解题方案的准确而完整的描述,是…

    2025年2月27日 编程技术
    200

发表回复

登录后才能评论