V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
supervipcard
V2EX  ›  Python

scrapy 如何控制多个 spider 运行?

  •  
  •   supervipcard · 2017-12-16 23:43:41 +08:00 · 3259 次点击
    这是一个创建于 2511 天前的主题,其中的信息可能已经有所发展或是发生改变。
    有 30 个网址,用一个 scrapy 来做,每个网址写成一个 spider。之后监控一个 redis 队列,从中不断取值,根据不同的值运行相应的 spider。请问这个如何实现?
    主要是从 redis 得到值之后如何运行相应的 spider ?或者有好点的方案吗?
    5 条回复    2017-12-17 12:25:43 +08:00
    xhinliang
        1
    xhinliang  
       2017-12-16 23:50:32 +08:00
    用 Scrapyd 啊,调度方面可以看下 Scrapy-redis
    golmic
        2
    golmic  
       2017-12-17 00:14:37 +08:00 via Android
    加群 t.me/datapy 问,代码在电脑上,明天记得的话给你贴上来。不过需要提醒我一下。
    hcnhcn012
        3
    hcnhcn012  
       2017-12-17 00:51:40 +08:00 via iPhone
    马克,一模一样的调度需求,有好东西了告诉我下
    azh7138m
        4
    azh7138m  
       2017-12-17 01:46:25 +08:00
    Scrapy-redis 其实可以满足需求
    zhijiansha
        5
    zhijiansha  
       2017-12-17 12:25:43 +08:00 via iPhone
    马克,目前用的自定义命令,运行全部的 spider
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5595 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 31ms · UTC 06:35 · PVG 14:35 · LAX 23:35 · JFK 02:35
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.