V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
allencode
V2EX  ›  Python

Python Scrapy 的安装

  •  
  •   allencode · 2016-03-09 10:03:15 +08:00 · 3969 次点击
    这是一个创建于 3160 天前的主题,其中的信息可能已经有所发展或是发生改变。

    怎么安装 Scrapy 要安装那么多依赖啊?而且动不动就安装报错,为什么不能直接 pip install Scrapy 一键搞定呢?各位有没有什么好的解决办法?

    26 条回复    2016-04-25 22:08:47 +08:00
    Tink
        1
    Tink  
       2016-03-09 10:54:54 +08:00 via iPhone
    不能 pip install ?
    allencode
        2
    allencode  
    OP
       2016-03-09 11:06:50 +08:00
    @Tink 在 pip install 之前要安装四五个依赖吧,而且有几个很难安装。不过最后搞定了,直接去 github 上下载 scrapy 的源码解压, cd 进去,然后 python setup.py build,python setup.py install.搞定啦
    4641585
        3
    4641585  
       2016-03-09 12:59:57 +08:00
    为什么不能用 pip install ?

    项目网站首页最上面就是 pip install scrapy
    4641585
        4
    4641585  
       2016-03-09 13:04:44 +08:00
    刚刚试了一下也没有出任何问题。。
    allencode
        5
    allencode  
    OP
       2016-03-09 13:05:13 +08:00
    @4641585 请问你只用匹配 install scrapy 就可以成功安装 scrapy 了吗?不用安装其他依赖?像 lxml , pywin32 ?
    9hills
        6
    9hills  
       2016-03-09 13:08:02 +08:00
    @allencode lz 是 windows ?

    要么折腾,要么换系统吧
    4641585
        7
    4641585  
       2016-03-09 13:17:39 +08:00
    @allencode
    好吧我用的不是 windows 。。
    CocoTaka
        8
    CocoTaka  
       2016-03-09 13:23:41 +08:00 via iPad
    用 easy_install
    xmwd
        9
    xmwd  
       2016-03-09 13:26:39 +08:00
    我用的 ubuntu15.10 ,使用 pip ,也得手动装 libffi 、 libxslt 和 libxml
    wenyu1001
        10
    wenyu1001  
       2016-03-09 13:29:53 +08:00
    弄个虚拟环境: virtualenv ( virtualenvwrapper )

    省的被其他环境(依赖)干扰。
    ctrainr
        11
    ctrainr  
       2016-03-09 13:35:31 +08:00
    主要是 lxml 难装
    simapple
        12
    simapple  
       2016-03-09 13:40:26 +08:00
    就是需要这么多依赖,只要不是 windows ,直接 pip 安装,缺少什么 lib 就安装什么

    其实 windows 下安装也没有那么难
    whatot
        13
    whatot  
       2016-03-09 13:42:58 +08:00
    Installing collected packages: zope.interface, Twisted, six, w3lib, queuelib, lxml, idna, pyasn1, pycparser, cffi, cryptography, pyOpenSSL, cssselect, pyasn1-modules, attrs, service-identity, scrapy
    Successfully installed Twisted-15.5.0 attrs-15.2.0 cffi-1.5.2 cryptography-1.2.3 cssselect-0.9.1 idna-2.0 lxml-3.5.0 pyOpenSSL-0.15.1 pyasn1-0.1.9 pyasn1-modules-0.0.8 pycparser-2.14 queuelib-1.4.2 scrapy-1.0.5 service-identity-16.0.0 six-1.10.0 w3lib-1.13.0 zope.interface-4.1.3

    不到 2 分钟装完了。依赖会自动解决吧
    jswh
        14
    jswh  
       2016-03-09 13:42:58 +08:00
    之前也是,在 vps 上 pip install 安装总是报错。最后发现是 vps 内存太小,编译各种 python-lxml 的时候内存爆了。用 apt-get 装了预编译包就好了。 23333
    Tink
        15
    Tink  
       2016-03-09 14:14:30 +08:00 via iPhone
    为什么要用 windows 啊醉了
    yinzishao
        16
    yinzishao  
       2016-03-09 16:14:30 +08:00
    我用的是 ubuntu14.04 pip install 直接安装就可以了。并没有遇到什么问题。或者你贴出具体的问题代码,给大家解决一下?
    allencode
        17
    allencode  
    OP
       2016-03-09 16:49:06 +08:00 via Android
    @9hills 已经搞定了,谢谢你
    allencode
        18
    allencode  
    OP
       2016-03-09 16:49:19 +08:00 via Android
    @CocoTaka 搞定了,谢谢
    allencode
        19
    allencode  
    OP
       2016-03-09 16:49:34 +08:00 via Android
    @xmwd 搞定了,哈哈
    allencode
        20
    allencode  
    OP
       2016-03-09 16:49:46 +08:00 via Android
    @ctrainr 是的哦,不过后来搞定了
    allencode
        21
    allencode  
    OP
       2016-03-09 16:50:15 +08:00 via Android
    @yinzishao 我已经搞定了,只是安装过程感叹一下,哈哈
    allencode
        22
    allencode  
    OP
       2016-03-09 16:51:07 +08:00 via Android
    @Tink 实验室 台式机准备装优班图,笔记本装了许多软件,不敢轻易折腾
    allencode
        23
    allencode  
    OP
       2016-03-09 16:51:37 +08:00 via Android
    @whatot 这个好, 2333
    allencode
        24
    allencode  
    OP
       2016-03-09 16:51:47 +08:00 via Android
    @simapple 是的
    patrickstar
        25
    patrickstar  
       2016-03-09 19:15:26 +08:00
    我现在用 anaconda ,完全满足我用了,不过由于没有用到 scrapy 所以还没关注里面有没有这个,实在不想去折腾, pypi 上有些包没有直接 pip 安装的!
    moogle
        26
    moogle  
       2016-04-25 22:08:47 +08:00
    我这里有两个环境:
    python2 C:\Anaconda3\envs\python2
    root * C:\Anaconda3
    是不是我先 activate python2 后,然后再 pip install scrapy ?
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2793 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 13:24 · PVG 21:24 · LAX 06:24 · JFK 09:24
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.