V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
oahebky
V2EX  ›  Python

分享两张阅读 scrapy 源码整理的其程序设计框图(其循环逻辑) - 欢迎指正

  •  
  •   oahebky · 2020-05-02 16:47:28 +08:00 · 2899 次点击
    这是一个创建于 1666 天前的主题,其中的信息可能已经有所发展或是发生改变。

    scrapy loop until universe collapses 的底层原理和逻辑:

    na

    scrapy engine 的运行过程中堆栈细节:

    na


    ProcessOn 链接:

    1. https://www.processon.com/view/link/5e9a8bd90791293bf979a545
    2. https://www.processon.com/view/link/5e9cfff87d9c0869da948a8d
    5 条回复    2020-05-03 15:13:39 +08:00
    shanghj
        1
    shanghj  
       2020-05-02 20:19:09 +08:00
    可以补一条官方 docs 里的那张数据流的图,感觉也蛮有用的。
    https://docs.scrapy.org/en/latest/topics/architecture.html#data-flow
    xingheng
        2
    xingheng  
       2020-05-02 21:14:30 +08:00
    请教你这个流程图是用什么画出来的
    also24
        3
    also24  
       2020-05-02 22:10:09 +08:00 via Android
    @xingheng
    你…… 要不要试着点一下楼主贴的链接?
    ila
        4
    ila  
       2020-05-02 22:15:29 +08:00 via Android
    @xingheng 点击链接进去就能发现
    xingheng
        5
    xingheng  
       2020-05-03 15:13:39 +08:00
    @also24
    @ila
    谢谢!
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1905 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 16:20 · PVG 00:20 · LAX 08:20 · JFK 11:20
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.