V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  15399905591  ›  全部回复第 4 页 / 共 7 页
回复总数  123
1  2  3  4  5  6  7  
2019-10-11 09:55:12 +08:00
回复了 15399905591 创建的主题 Python 长沙的 Python 岗位,有大佬感兴趣么
@flycare 如果有架构师推荐也可以。。我们也招个架构师
2019-10-11 09:54:39 +08:00
回复了 15399905591 创建的主题 Python 长沙的 Python 岗位,有大佬感兴趣么
@flycare 我们接来下有个大动作,就是要把 odoo 干掉,现在的问题就是缺人。。
2019-10-11 09:47:29 +08:00
回复了 15399905591 创建的主题 Python 长沙的 Python 岗位,有大佬感兴趣么
@merlin9527 可以私信留个联系方式,长沙搞 python 的就这么大个圈子
2019-10-11 09:38:00 +08:00
回复了 15399905591 创建的主题 Python 长沙的 Python 岗位,有大佬感兴趣么
@xiaolinjia 要是感兴趣,可以先留个联系方式,想回来的话,可以联系撒
2019-10-11 09:37:24 +08:00
回复了 15399905591 创建的主题 Python 长沙的 Python 岗位,有大佬感兴趣么
@gimp 长沙妹子漂亮,哈哈
使用 selenium 其实很方便,只是因为对应的 driver 太重,并且限制很多,而且现在大厂都针对各种 driver 做了防范,所以越来越难用了。现在 Puppeteer 已经越来越流行了,可以考虑下这个。
2019-08-29 09:07:48 +08:00
回复了 aaronhua 创建的主题 Python scrapydweb 和 spiderkeeper 有什么区别?
之前使用 spiderkeeper + scrapyd 进行部署,bug 真的是一大堆,都不知道从那里入手(很多 bug 并不是 spiderkeeper 的问题,而是使用 scrapyd 的原因),后来使用干脆使用 docker 打包解决了,不过调度得自己写。
我之前也碰到类似问题,是卡在 redis 的阻塞 blpop, 网上查了资料,说是 redis 版本问题,升级了 redis3.2 就完事了
2019-04-02 15:36:05 +08:00
回复了 luanguang 创建的主题 Python 如何让 scrapy_redis 对起始 url 不去重
你再 start_requests 方法里面推送不就好了么。
2019-01-25 13:38:45 +08:00
回复了 warcraft1236 创建的主题 Python Mac 系统下, Scrapy 自动走系统代理?
两边都是访问的同一个地址吗? 是不是你的代理有做条件切换呢?
2019-01-24 17:06:50 +08:00
回复了 warcraft1236 创建的主题 Python Mac 系统下, Scrapy 自动走系统代理?
你的系统代理设置的是全局的吧?
2019-01-24 17:05:33 +08:00
回复了 ranlele 创建的主题 Python scrapy-splash 突然全部都连接超时。有哪位大佬遇见过这种情况
@ranlele 你现在的请求量是多大呢? 超时了只是因为推送请求的效率大于处理请求的效率,你把速度降下来,等堆积的任务处理完就好了啊
膜拜下大佬,以前一直用 spiderkeeper,可那东西坑实在太多了。。
2019-01-24 09:28:46 +08:00
回复了 ranlele 创建的主题 Python scrapy-splash 突然全部都连接超时。有哪位大佬遇见过这种情况
你可以考虑配置一个 scrapy-splash+haproxy 搭建一个集群就行了。但是还是看你的频率,如果频率过高的话,使用 scrapy-splash 其实并不合适。你应该考虑直接研究具体的请求。
2019-01-23 18:15:00 +08:00
回复了 ranlele 创建的主题 Python scrapy-splash 突然全部都连接超时。有哪位大佬遇见过这种情况
控制频率啊,或者添加多个 scrapy-splash 做个负载均衡,然后调整一下你的 scrapy-splash 配置。
2019-01-22 15:37:36 +08:00
回复了 firejoke 创建的主题 Python 董伟明的个人网站忘续费了吗?
他暂时切换了新域名 https://blog.pycourses.com
2019-01-22 13:38:14 +08:00
回复了 wangt21 创建的主题 Python 有哪些好点的 Python 教程博客啊。求推荐,谢谢!
2019-01-22 10:41:59 +08:00
回复了 cf472436288 创建的主题 Python 都说裁员多,为什么没有看到 Python ?
长沙 python 根本找不到工作的路过。。。
2019-01-22 10:41:18 +08:00
回复了 ranlele 创建的主题 Python scrapy-splash 突然全部都连接超时。有哪位大佬遇见过这种情况
你是不是推送了太多请求队列了,scrapy-splash 是异步的,它的超时计算是按你发起的请求时间就计算的,比如你发起 1W 个请求, 超时时间 10S,当处理到 1000 条时已经达到了 10S,那后面 9000 条全部会返回 timeout
2019-01-11 17:10:29 +08:00
回复了 15399905591 创建的主题 Python 有没有长沙的 Python 圈子
@encro python 有岗位么
1  2  3  4  5  6  7  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2840 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 21ms · UTC 13:44 · PVG 21:44 · LAX 05:44 · JFK 08:44
Developed with CodeLauncher
♥ Do have faith in what you're doing.