V2EX › akmonde 的所有回复 › 第 7 页 / 共 9 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2 3 4 5 6 7 8 9

❮

❯

2017-08-03 12:56:23 +08:00

回复了 akmonde 创建的主题 › Python › celery 每个 worker 在执行任务时，如何配置一定数量的 task？

@Stony 非常感谢您，很详细，这帖子我差点都忘了。。另外，我想请教下您，如果想批量 kill 一批机器的 task，应该咋弄，我通常是直接 grep celery 的所有进程，然后 kill -9。
但是这样就有个毛病，我批量 kill 集群中的 task 时会出现问题，只有一台一台机器去手动操作。
另外，您说如果 celery 卡住的时候，重启所有 pool 有用么？话说我以前配置了 pool 的安全选项，还是不能在 flower 直接重启。

2017-07-20 21:52:27 +08:00

回复了 akmonde 创建的主题 › Python › celery 处理结果的入库问题

@xdays 您的意思还是将 mysql 处理这块作为节点吧？
@whnzy leader 不是做开发的。
@carilove 不会啊，为了避免 broker 量过载，我那边计划的是跑完一批任务，就清空一次，不然肯定占用太多了。
@wizardoz 大佬说的蛮对的，个人觉得即使做缓冲也无法解决安全问题，确实需要第三方进行加固。

2017-07-20 16:06:38 +08:00

回复了 akmonde 创建的主题 › Python › celery 处理结果的入库问题

@NoBeeBee @bestkayle leader 的意思是，既然是分布式的，那每个节点我都需要配置 mysql 连接信息，既然部署到公网，无论是传输途中，还是节点服务器被黑，都是有可能泄露主控端的数据的。
@wizardoz 大佬，求教如何解决，随便甩给小弟几个方案就成^_^。
@juntao @iwishing 小弟看看怎么方便实施，先感谢下~

2017-07-20 16:01:15 +08:00

回复了 akmonde 创建的主题 › Python › celery 处理结果的入库问题

@cszeus @CryMeatel @iConnect 项目是小，但类似于分布式采集数据类的东西，每个任务都会有写入数据的操作，所以一旦节点多了以后，不做写入缓冲，确实可能存在数据写入过量。

2017-07-20 07:49:01 +08:00

回复了 akmonde 创建的主题 › Python › celery 处理结果的入库问题

这里怕大家没看懂，故此补充下，我这边是跟大家求方案细节，我才好去做计划。
如果有大佬做过或者有过完善点的想法，劳烦多敲几个字指点下小弟，感谢感谢！

2017-07-19 07:56:07 +08:00

回复了 lauix 创建的主题 › Python › celery 有失败任务，怎么回事？

兄弟你这不贴错误日志和报错，别人怎么帮你。

2017-06-30 16:37:21 +08:00

回复了 UcpaasCOM 创建的主题 › 推广 › [福利贴，手快有] 程序猿变落汤鸡，只差一场暴雨的突袭

我在想有好事儿没。。

2017-06-12 10:16:21 +08:00

回复了 akmonde 创建的主题 › 服务器 › 最近要搬家，旧机箱待处理，求建议

@loveminds 我想了想，处理个机箱还得买个猫，贼亏，虽然当个铲屎官也不错。。

2017-06-08 15:52:26 +08:00

回复了 akmonde 创建的主题 › 服务器 › 最近要搬家，旧机箱待处理，求建议

@814084764 我的天。。有烤箱，不用机箱改造。。

2017-06-08 07:26:54 +08:00

回复了 akmonde 创建的主题 › 服务器 › 最近要搬家，旧机箱待处理，求建议

@nightwind 我这边系统都没提醒回复。。哪位还有其他答案么。。

2017-06-07 07:38:10 +08:00

回复了 pig1983 创建的主题 › 问与答 › 求推荐一款办公用鼠标。

跟帖求一款中低等价位游戏鼠标，手不大，中度 moba 游戏爱好者。

2017-05-22 15:22:42 +08:00

回复了 akmonde 创建的主题 › Python › celery 检查返回状态（ result.ready）时，会出现死循环

@r0okit @pkking
两位大牛，不好意思再次打扰一下。
我这边看了下，我前端 flower 通过参数传过来，进行程序启动的那个函数，肯定是需要 delay 的，调用方式就下面两种：
http://flower-docs-cn.readthedocs.io/zh/latest/api.html#post-api-task-async-apply
http://flower-docs-cn.readthedocs.io/zh/latest/api.html#post-api-task-send-task
那么问题来了，我看了下案例：
http://celery.readthedocs.io/en/latest/userguide/tasks.html#avoid-launching-synchronous-subtasks
这里调用 chain 是不能使用 delay 的函数的，好像是需要在一个普通函数或者在程序主体里去调用 chain 的。
那么在程序入口需要在 delay 的函数里的情况下，我应该如何去使用 chain 呢？这好像是个悖论，没想明白应该怎么弄。

2017-05-21 10:36:53 +08:00

回复了 Andor_Chen 创建的主题 › Python › 送几本《流畅的 Python 》

卧草，现在盖楼还来得及么

2017-05-20 08:10:01 +08:00

回复了 akmonde 创建的主题 › Python › celery 检查返回状态（ result.ready）时，会出现死循环

@r0okit @pkking 非常感谢大牛们的指导，确实黑名单难以过滤完全特殊字符。另外我似乎查出问题所在了，确实是 result.ready()是放在 delay()任务中执行，那里就会阻塞运行不下去了。
我这边前端采用了 flower 的接口控制任务的启动，话说 flower 有参数可以不调用 delay 么？
另外，我试了下如果不调用 delay 的话，不使用 chain 也是可以用的。
是否 flower 前端传过来的参数是必须调用 delay，然后必须用 chain 或者 signature 之类的才能破？

2017-05-19 13:38:38 +08:00

回复了 akmonde 创建的主题 › Python › celery 检查返回状态（ result.ready）时，会出现死循环

@r0okit eval 之前已经对能执行恶意命令的特殊字符进行了过滤，也不涉及库查询，所以应该不会有安全方面的问题。
我去研究下 chain 和怎么用字典名字映射函数，先谢谢您。
这问题也是够折腾的，这两天在一步步替换正常的配置和代码进行对比，真是头疼，问题出现的有点隐蔽。

2017-05-18 20:34:34 +08:00

回复了 akmonde 创建的主题 › Python › celery 检查返回状态（ result.ready）时，会出现死循环

@pkking 感谢回复，不过小弟学识有限，没有理解您的意思，您能稍微举个例子么？

2017-05-18 20:33:11 +08:00

回复了 akmonde 创建的主题 › Python › celery 检查返回状态（ result.ready）时，会出现死循环

@r0okit eval 是为了把前端传过来的字符串，作为函数名执行哈，咱们可以把它这样等价：
eval(item).delay(x,y) == add.delay(x,y)
另外，确实这段代码是放在一个任务函数里去调用的，用不用 delay 都出现了这种情况。

2017-05-18 12:33:37 +08:00

回复了 akmonde 创建的主题 › Python › celery 检查返回状态（ result.ready）时，会出现死循环

@zsz 也是 delay 执行的，8 楼给出了那部分的代码，兄弟麻烦给看看。

2017-05-18 07:55:44 +08:00

回复了 akmonde 创建的主题 › Python › celery 检查返回状态（ result.ready）时，会出现死循环

@r0okit
我那边单独测了上面提到的 demo 代码，是可用的。
但我这边是同时运行了多个任务，其中夹杂了这个优先级高的任务，就会出问题了，代码如下：
if item in match_items:
result = eval(item).delay(x,y)
result_list.append(eval_result)
else:
eval(item).delay(x,y)
for result_item in result_list:
while not result_item.ready():
time.sleep(2)
然后那个任务会一直在 PENDING，或者说是 RECEIVED 状态，并没有启动，一直 sleep。

2017-05-17 21:04:21 +08:00

回复了 akmonde 创建的主题 › Python › celery 检查返回状态（ result.ready）时，会出现死循环

@zsz 程序一直是正常运行的，只不过最近加了检查返回状态才这样，因此应该不是 celery server 的锅。

1 2 3 4 5 6 7 8 9

❮

❯