scrapy 框架是单线程执行的 twisted？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 2246 天前的主题，其中的信息可能已经有所发展或是发生改变。

因为主要就是消息队列和事件循环，来回切换一个线程

Twisted

Scrapy

单线

队列

4 条回复 • 2018-10-30 01:03:25 +08:00

owenliang

2018-10-29 11:40:11 +08:00 via Android

核心就是 spider，item，queue，pipeline。

其中 spider 产生 request 到 queue，不断取出 queue 里的 request 交给 twisted 异步网络 io，网络回调后继续回到 spider 重复这个过程。

Ewig

2018-10-29 13:58:14 +08:00

@owenliang 那就是单线程了，

owenliang

2018-10-29 13:59:57 +08:00

@Ewig 是的，是单线程，请求并发度可以配置，基于 IO 多路复用并发（不是并行）。

Ewig

2018-10-30 01:03:25 +08:00

@owenliang 那我理解的没错