首页 注册 登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  baozaodexiaomila  ›  全部回复第 1 页 / 共 1 页
回复总数  2
10 天前
回复了 dbow 创建的主题 › 职场话题 › 搞爬虫的去面试了一下被爬的大厂
可是大厂不是也在招爬虫吗🤣
10 天前
回复了 bwijn 创建的主题 › Python › scrapy 的 item 队列把内存挤爆
理论上 pipeline 这里只做数据存储过程，其他业务相关的东西不应该对抓取的结果进行处理，先将 item 通过 pipeline 存到 mongodb 或者 redis 等数据库中，这里作为原始数据，后续的操作应当在 这个数据库上搞一个业务数据库来进行处理，就算不另外搞一个数据库，那么业务操作也应该开启新的进程去单独处理数据
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   989 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 13ms · UTC 20:59 · PVG 04:59 · LAX 12:59 · JFK 15:59
Developed with CodeLauncher
♥ Do have faith in what you're doing.