V2EX › lolizeppelin 的所有回复 › 第 34 页 / 共 53 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 ... 30 31 32 33 34 35 36 37 38 39 ... 53

❮

❯

2018-12-14 15:20:50 +08:00

回复了 wcsjtu 创建的主题 › Python › Python3.6 asyncio 的协程是如何实现主动调度的？

@wcsjtu

不是... eventlet 里的 sleep 和一般的 sleep 都一个作用
用于放弃资源占用和 epoll 无关

epoll 的作用是在 io 的时候自动切换到主循环那个协程,猴子补丁也就是让你不用自己写 epoll 代码而已

举个例子
os.listdir 如果扫描一个大文件夹,当前协程会一直占用资源不会切换到主线程. 其他协程就不会被调度到,会被饿死
所以用 os.walk 来扫文件夹并加入计数器. 计数器超过一个值就调用 eventlet.sleep(0)切换到主线程

所以你不要光盯着 io, io 耗时,大量计算也会耗时的.自然需要有放弃占用的方法的

同样设计在 lock 里 lock 了就切换到主循环 release 就找有 lock 需要的协程切换过去

tornado 以前是怎么做的我不清楚, 至少 gevent evelet 应该是这样的 asyncio 应该也是差不多的
因为要解决的问题是一致的

2018-12-14 15:08:59 +08:00

回复了 wcsjtu 创建的主题 › Python › Python3.6 asyncio 的协程是如何实现主动调度的？

补充下

所有的 io 都是都是其他协程切换到主线程的哪个协程
sleep 也是其他协程切换到主线程的那个协程
主线程的那个协程主要负责调度

release 可以是协程间互相切换也可以是切换到主线程那个协程

2018-12-14 14:57:05 +08:00

回复了 wcsjtu 创建的主题 › Python › Python3.6 asyncio 的协程是如何实现主动调度的？

asyncio 不熟,但是应该和 eventlet 原理一致

在 eventlet 里
有一个队列一直在不停的排序,排序的 key 是时间戳

主循环一直扫这个队列, 当前时间戳>=排序 key 就调用这个 key 对应的协程

所有的协程都是在这个队列里排序等待执行...协程的 sleep 就是修改排序的时间戳让自己的调度顺序押后

lock 也是类似原理

你对应到 asyncio 里看看调度是不是这个理

2018-12-13 17:23:04 +08:00

回复了 miniyao 创建的主题 › Python › Python3.5 之前的版本，因为不是线程安全， celery 无法执行 zipfile，有这个问题吗？

@miniyao
你不贴代码怎么帮你

谁懂你代码里做了啥影响了进程

2018-12-13 17:05:00 +08:00

回复了 miniyao 创建的主题 › Python › Python3.5 之前的版本，因为不是线程安全， celery 无法执行 zipfile，有这个问题吗？

@richzhu

和航空母舰有毛线关系
压缩这频繁计算的频繁复制 buf 的
python 又不能用多核还跑到一个进程里
你这要么进程不干活了要么压缩死慢

2018-12-13 10:28:51 +08:00

回复了 miniyao 创建的主题 › Python › Python3.5 之前的版本，因为不是线程安全， celery 无法执行 zipfile，有这个问题吗？

python 这种不能用多核的渣渣压缩不想办法 fork 到其他进程里干你想卡死当前进程么

再说了 python 性能这么烂需要经常压缩的话直接 shell 执行是性能最好的, 条件允许能不用 native 代码去压缩就不要用 python 去压文件

2018-12-10 14:37:14 +08:00

回复了 sfree2005 创建的主题 › Flutter › Flutter live 讨论

嵌套还好吧不嵌套就写一堆 xml 还不是一样 2333