V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  akmonde  ›  全部回复第 8 页 / 共 9 页
回复总数  168
1  2  3  4  5  6  7  8  9  
2017-05-17 20:31:17 +08:00
回复了 akmonde 创建的主题 Python celery 检查返回状态( result.ready)时,会出现死循环
@r0okit
首先感谢这位朋友,贴下 redis 的配置如下:
celery = Celery('achrief', backend='redis://localhost:6379/0', broker='redis://localhost:6379/0')
我这边仔细比较过,真实代码跟样例情况是一模一样的,换了变量和函数名而已,这里就不贴了。
另外,celery 配置文件里添加了以下内容,不过并没有起作用:
CELERY_IGNORE_RESULT=False
另外,我这边是 Linux 环境,有朋友说的 win 下运行可以加-p threads 或者啥 pool 参数的我也试过了,没有起作用。
@gamexg @x14oL 遇到了类似的问题,不过鄙人是在 linux 下,使用了下面的 code:
while not result.ready()
这里采用的循环的形式,监听任务是否结束,结果一直是 PENDING,形成了死循环。任务是一直没起跑,但是任务函数本身是没有问题的。
我试过-P threads,结果在调用 billiard 时会报错:
AttributeError: 'WorkerThread' object has no attribute '_children'
--pool=solo 参数是压根不生效,
求大佬解答。。
2017-05-17 16:22:49 +08:00
回复了 akmonde 创建的主题 Python celery 检查返回状态( result.ready)时,会出现死循环
@NaVient
result.ready()结果开始就是 False 啊,循环是进去了的,time.sleep(1)会一直下去,这个我试过打印内容印证过的。
但我要做的那个任务始终在 PENDING,或者说是 RECEIVED 状态,并没有开始做,不用循环,直接 result.ready()是可以运行那个任务的,但是却没有锁住的效果了。
2017-05-10 15:06:04 +08:00
回复了 ji4ozhu 创建的主题 问与答 现在做这种纯净的下载工具还会有市场吗?
迅雷人有资源节点好么,不然很多下不动。
情侣装看着贼尴尬。。
2017-04-18 09:00:14 +08:00
回复了 xjp 创建的主题 分享发现 搞 了个微信文章爬虫
@zhangsimon 觉得这类分析挺有意思的。
woc ,帖子就这么沉了,哪位大神出来否定我一下,或者喷我下也成啊。。
2017-03-18 22:47:01 +08:00
回复了 tumbzzc 创建的主题 问与答 celery 添加了 6000 多个任务之后....
@solrted 我想借楼问问如果 windows 下能设置超时么, https://www.v2ex.com/t/348195 ,我这帖子几天没人回。。。
@changzh 嗯。。其实应该没有啥跟 NAT 相关的。。
@extreme 唉,大兄弟, VirtualBox 当年也用过,感觉好像比 vmware 更容易挂,另外 Virtio 网卡需要单独配是吧?
@weiweiwitch @dant 嘿嘿,暂时用的笔记本啊,还没上线呢,不过是性能还算不赖的笔记本,试用时 vmware 用的 workstation 。
另外,刚才改 vmx 改成功了,配置文件里早些时候没注意大小写敏感。
但是试了下 vmxnet3 下的 PING 值,貌似还是很不稳定,不时奔到上百 ms ,暂时还没跑程序。
@dant 移除虚拟机后,试了下编辑 vmx 文件,设置 ethernet0.virtualDev = "VMXNET3",结果导入虚拟机出现内部错误。。导入不了了
@phrack 不是啊兄弟,我指的是本机虚拟网卡的稳定性和虚拟机的稳定性,数量较大的网络包发出的时候,导致本机的虚拟网卡或者外接网卡崩溃了。
2017-03-06 15:03:01 +08:00
回复了 macleek 创建的主题 程序员 有没有喜欢 ascii art 的人一起来实现这篇论文的算法?
以前找 ascii art 在线网站很是头疼,每次现用现找。。
2017-02-28 01:24:02 +08:00
回复了 akmonde 创建的主题 Python celery 每个 worker 在执行任务时,如何配置一定数量的 task?
@xnightsky 3ks ,我明天看看~~
2017-02-28 00:37:39 +08:00
回复了 akmonde 创建的主题 Python celery 每个 worker 在执行任务时,如何配置一定数量的 task?
@xnightsky 谢谢兄弟,刚找了下干掉所有任务的参数,不过没找到。。有点伤
2017-02-27 23:30:00 +08:00
回复了 akmonde 创建的主题 Python celery 每个 worker 在执行任务时,如何配置一定数量的 task?
@julyclyde 没,我猜是放到了 redis 里面的,清除 redis 后过会儿会结束。
但清除 redis 后再启动时, celery 还会调度一会儿 task ,这部分不知道是存在哪儿的,我一直很奇怪。
2017-02-27 23:14:51 +08:00
回复了 akmonde 创建的主题 Python celery 每个 worker 在执行任务时,如何配置一定数量的 task?
@maemo 并没有用 multi 喔,至于您说的 queuename 是 task 名么?类似于“ e1e10f99-fb7b-42a4-b627-7ea0e74daf90 ”?我那边用 flower 控制的,但也没有看见批量清除的法子,有点头疼。。
2017-02-27 18:57:25 +08:00
回复了 akmonde 创建的主题 Python celery 每个 worker 在执行任务时,如何配置一定数量的 task?
@julyclyde 我的意思是:前台已经发了任务,存在了中间件( redis ),然后后台取了任务,有的已经 start ,有的还在 receive 状态,如何把这些废弃的任务全部结束掉。
我直接把那些 worker ctrl+c 掉的话,重新启动 worker 时,那些被废弃的任务还会继续跑。
2017-02-27 14:24:28 +08:00
回复了 akmonde 创建的主题 Python celery 每个 worker 在执行任务时,如何配置一定数量的 task?
@julyclyde 非常感谢兄弟,确实有效,要是能直接写到配置里就更好了, hhhh
另外兄弟知道把那么 start 和 receive 后 task 全部结束掉么?
我每次都是直接 ctrl+C 把 worker 结束掉,因为用的 redis 作中间件,最后还会手动清理 redis 的缓存内容,不然它还会一直运行下去。
不过这样好像不太正规,也有点 bug 。
1  2  3  4  5  6  7  8  9  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1151 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 24ms · UTC 23:45 · PVG 07:45 · LAX 15:45 · JFK 18:45
Developed with CodeLauncher
♥ Do have faith in what you're doing.