Linux下如何安装pyspider

首先执行

  1. pip install pyspider

登录后复制

此时系统提示

  1. Command "python setup.py egg_info" failed with error code 1 in /tmp/pip-build-Lau0Qp/pycurl/You are using pip version 9.0.1, however version 9.0.3 is available.You should consider upgrading via the 'pip install --upgrade pip' command.

登录后复制

这是pip版本的问题,执行

  1. sudo python -m pip install --upgrade pip

登录后复制

升级pip

继续执行

  1.  sudo pip install pyspider

登录后复制

来安装pyspider,此时报错:

  1. Command "python setup.py egg_info" failed with error code 1 in /tmp/pip-build-szUHrj/pycurl/

登录后复制

原因是pyspider的依赖库未安装,需要执行

  1. sudo apt-get install python python-dev python-distribute python-pip libcurl4-openssl-dev libxml2-dev libxslt1-dev python-lxml

登录后复制

命令来安装以下支持类库

本来以为可以正常安装pyspider了,可继续执行 sudo pip install pyspider时系统报错信息为:

  1. compilation terminated.error: command 'x86_64-linux-gnu-gcc' failed with exit status 1----------------------------------------span style="color: rgb(255, 0, 0);">Command "/usr/bin/python -u -c "import setuptools, tokenize;__file__='/tmp/pip-build-B8gZjb/pycurl/setup.py';f=getattr(tokenize, 'open', open)(__file__);code=f.read().replace('\r\n', '\n');f.close();exec(compile(code, __file__, 'exec'))" install --record /tmp/pip-aDBSCP-record/install-record.txt --single-version-externally-managed --compile" failed with error code 1 in /tmp/pip-build-B8gZjb/pycurl/

登录后复制

原因是因为安装工具包时需要抓取网页因而要处理 https,而处理 https 又依赖加解密算法(即 cryptography 包),而 cryptography 又依赖傅立叶变换的算法以及相应的编译环境。Ubuntu 16.04 默认没有安装 libffi-dev 和 libssl-dev,gcc 也不一定安装,而目标安装包又没有将相关软件包记到依赖列表里,因此需要先手动安装:

  1. sudo apt-get install libssl-dev libffi-dev build-essential

登录后复制

此时再执行 sudo pip install pyspider 就OK了!

因此Linux下安装要执行以下几个命令,(划重点!)

  1. sudo python -m pip install --upgrade pipsudo apt-get install python python-dev python-distribute python-pip libcurl4-openssl-dev libxml2-dev libxslt1-dev python-lxmlsudo apt-get install libssl-dev libffi-dev build-essentialsudo pip install pyspider

登录后复制

什么是Linux系统

Linux是一种免费使用和自由传播的类UNIX操作系统,是一个基于POSIX的多用户、多任务、支持多线程和多CPU的操作系统,使用Linux能运行主要的Unix工具软件、应用程序和网络协议。

以上就是Linux下如何安装pyspider的详细内容,更多请关注【创想鸟】其它相关文章!

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。

点点赞赏,手留余香

给TA打赏
共0人
还没有人赞赏,快来当第一个赞赏的人吧!
    编程技术

    Linux uniq命令怎么使用

    2025-3-30 18:07:17

    编程技术

    Linux的find命令如何使用

    2025-3-30 18:07:25

    0 条回复 A文章作者 M管理员
    欢迎您,新朋友,感谢参与互动!
      暂无讨论,说说你的看法吧
    个人中心
    购物车
    优惠劵
    今日签到
    私信列表
    搜索