arithboy 最近的时间轴更新 arithboy 最近的时间轴更新 |
arithboyV2EX 第 47231 号会员，加入于 2013-10-19 02:07:00 +08:00 |
arithboy 最近回复了
2021-02-01 18:18:58 +08:00 回复了 guanguans 创建的主题 › 分享创造 › 花了两年时间和同学把旧书网上淘来的两本书书做成了在线阅读版 |
赞楼主!
没有盈利,出于善意,不必考虑版权问题
没有盈利,出于善意,不必考虑版权问题
2018-05-03 22:42:35 +08:00 回复了 akmonde 创建的主题 › Python › 关于 scrapy 处理批量 url |
你把 url 和相应的参数拼成一个 url 列表，然后赋值到 self.start_urls 变量里面跑
要多进程的话，把 url 放到队列里面，然后启动多个 scrapy 从队列中取
要多进程的话，把 url 放到队列里面，然后启动多个 scrapy 从队列中取
Select Language