##我想了想,没想出来,
#比如:
调用 flask-api 接收参数,参数有 name:张三,age:30,sex:男。
爬虫程序 scrapy 需要拼接这些参数去完成 url 请求,返回 json,或者入库
思考下:
1.flask 怎么传递这些参数给 scrapy,scrapy 又怎么被 flask 所运行。
2.项目部署该怎么部署,是部署 flask-api 还是部署 scrapy ?
3.flask 和 scrapy 如何交互
4.有没有什么好的办法,把 scrapy 爬虫变成一个 api 接口,方便调用的那种
各位大佬,尽情的发表意见,小弟在线等
--来自 python 小白的呐喊
1
djj510620510 2019-06-06 10:10:18 +08:00
用 redis 或者数据库呗
|
2
chengxiao 2019-06-06 10:15:37 +08:00
Scrapyd 了解下 剩下的就是调接口
|
3
111qqz 2019-06-06 10:22:32 +08:00
关键词: scrapyd python-scrapyd-api
|
4
111qqz 2019-06-06 10:24:57 +08:00
|
5
IanPeverell 2019-06-06 10:32:09 +08:00
flask 把 url 存进一个 json 文件,然后用 scrapy.crawl 的 CrawlRunner 调爬虫,爬虫通过读 json 来读 url,爬出来的数据直接入库,flask 通过查增量来获取爬去的新数据。这样的话,只需要起一个 flask,然后爬虫跑在 flask 的进程中,通过 json 文件传 url
|
6
wwb721 2020-03-23 23:16:34 +08:00
可以看看 scrapyrt
|