首页 注册 登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  firejoke  ›  全部回复第 2 页 / 共 16 页
回复总数  301
1  2  3  4  5  6  7  8  9  10 ... 16  
❮ ❯
2021-11-21 16:06:46 +08:00
回复了 firejoke 创建的主题 › Python › 关于 asyncio 执行 IO 密集型操作的不解
@Contextualist #25 对欸！资源是消耗在每一条查询和写入的操作上，如果批量写，就可以降低写入频率，至于查询，我已经在查询字段上加了索引，我改一下试试。感谢~
然后我看到你之前提到的 trio ，看他的文档像是涉及到异步操作的都有涉及，感觉非常不错啊。
2021-11-21 14:17:56 +08:00
回复了 firejoke 创建的主题 › Python › 关于 asyncio 执行 IO 密集型操作的不解
@Contextualist #23 是的，就是两个大文件，所以我也觉得文件 IO 不是我这里的瓶颈，协程在这个场景中没体现出他的优势，我已经改成了多进程了。
2021-11-21 12:48:27 +08:00
回复了 firejoke 创建的主题 › Python › 关于 asyncio 执行 IO 密集型操作的不解
@locoz #20 我昨天最后也是改成用多进程了，一个进程专门读文件，然后放进队列，其他子进程从队列读，然后操作数据库，那看来我思路没跑偏。还有其他的解法吗？多进程和协程的结合，一般都是以多进程为主吗？
2021-11-21 12:41:23 +08:00
回复了 firejoke 创建的主题 › Python › 关于 asyncio 执行 IO 密集型操作的不解
@Contextualist #14 看文档的意思，是说用异步文件 IO ，在从内存读取时反倒会变慢，在从磁盘读取的时候会加快，在不同环境下其结果是不可预测的。那我如果单独用一个进程读取文件到内存，然后另一个进程从内存读取然后再操作，应该可以绕开这个问题。
2021-11-21 12:31:57 +08:00
回复了 firejoke 创建的主题 › Python › 关于 asyncio 执行 IO 密集型操作的不解
@LeeReamond #13 嗯，我昨天也想了一下，如果每一步阻塞住的操作实际上都很快，那 asyncio 其实发挥不出切换等待的优势。
2021-11-21 12:30:43 +08:00
回复了 firejoke 创建的主题 › Python › 关于 asyncio 执行 IO 密集型操作的不解
@documentzhangx66 #12 设备性能应该没问题，12 核 24 线程，64G 内存，磁盘读取速度也没有跑满，IO 读写也不是特别高。
2021-11-21 12:26:21 +08:00
回复了 firejoke 创建的主题 › Python › 关于 asyncio 执行 IO 密集型操作的不解
@locoz #11 我也感觉似乎没发挥出 asyncio 的优势，每一条数据都不超过 1kb ，所以可能除了数据库操作稍微耗时长一点，其他地方等待的很少，所以和单线程的性能差不多？另外请教一下，“没有包上隐式多进程” 具体是指什么呢？
2021-11-21 00:19:02 +08:00
回复了 firejoke 创建的主题 › Python › 关于 asyncio 执行 IO 密集型操作的不解
@Trim21 #8 我改成了 asyncfiles ，然后把队列的 join 去掉了，这次成功跳到了其他 await 的位置，确实如你所说，感谢！
但测试发现，虽然没了 io 的阻塞，但写入速度还是没太大变化，他每读一行，切到其他 task ，和我之前没读一行，join 住，就执行流程来说，是不是没差？
2021-11-20 23:50:19 +08:00
回复了 firejoke 创建的主题 › Python › 关于 asyncio 执行 IO 密集型操作的不解
@Nitroethane #6 每行数据小于 1kb ，而且是用的 for ，这里相当于一个生成器
2021-11-20 23:47:33 +08:00
回复了 firejoke 创建的主题 › Python › 关于 asyncio 执行 IO 密集型操作的不解
@Trim21 #4 所以，也会导致如果不主动用队列的 join 阻塞住，就不会跳到其他 await 的地方？
2021-11-20 23:33:33 +08:00
回复了 firejoke 创建的主题 › Python › 关于 asyncio 执行 IO 密集型操作的不解
@long2ice #1
@Trim21 #2
文件这里只是读取，然后放进队列里，这也会导致阻塞吗？
2021-11-05 16:18:14 +08:00
回复了 firejoke 创建的主题 › Ansible › 关于 AWX 执行 ansible 的原理不解的地方
@julyclyde #3 嗯，按这里 ansible-runner 调用方法来看，是根据指定根目录的目录结构来执行一个任务，可以认为是为单一指定的 project 保存一个 inventory 存档，这样就能理解。
但为了这个目的的话，专门为这个 project 建一个 inventory group 不就行了，不管整个 inventory 怎么更新，只要这个 inventory group 不变就行了，每次执行这个 project 都使用这个 group 。
2021-11-05 15:10:33 +08:00
回复了 firejoke 创建的主题 › Ansible › 关于 AWX 执行 ansible 的原理不解的地方
@julyclyde #1 在 inventory 插件里，也是只从 api 里获取一次，中途不会在执行这个动作，所以不存在这个情况。
2021-08-06 11:10:58 +08:00
回复了 sugarkeek 创建的主题 › 微信 › 站在微信垃圾桶旁边突然笑了
@MakeItGreat #4
@des #9
@fengchang #21
说的是那个聊天界面掉吃鸡空投的吧
2021-07-29 14:41:28 +08:00
回复了 firejoke 创建的主题 › 宽带症候群 › 最近移动光猫的宽带桥接，对无效网络不友好
@jousca #8 现在才发现有回复。。。可能是之前点了未读提醒。。。我今天回去试试！感谢！
@youzengwei #9 你是说光猫吗？超管的账号密码不同，账号：CMCCAdmin 密码：aDm8H%MdA
2021-07-27 09:23:04 +08:00
回复了 ChenXuting 创建的主题 › 生活 › 等一只猫。
@Illusionary #27 那还挺好的，希望我以后也和你这样，老人家不插手太多
2021-07-26 18:18:44 +08:00
回复了 ChenXuting 创建的主题 › 生活 › 等一只猫。
@Illusionary #22 了解了，那家里老人会说吗？我家也有猫，在担心以后的矛盾
2021-07-26 14:33:22 +08:00
回复了 ChenXuting 创建的主题 › 生活 › 等一只猫。
@Illusionary #19 那你家老人没说？不都是怕孕期对孕妇有影响吗？虽然家养猫不出门基本不会有弓形虫，但老人家不都是会担心吗？
2021-07-26 11:48:59 +08:00
回复了 ChenXuting 创建的主题 › 生活 › 等一只猫。
@Illusionary #13 那怀孕那段时间，猫有寄养到别人家吗？有没有啥影响？
2021-07-26 10:34:31 +08:00
回复了 ChenXuting 创建的主题 › 生活 › 等一只猫。
@Illusionary #11 你是有娃前就开始养了，还是有娃后养的？
1  2  3  4  5  6  7  8  9  10 ... 16  
❮ ❯
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   984 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 24ms · UTC 21:09 · PVG 05:09 · LAX 13:09 · JFK 16:09
Developed with CodeLauncher
♥ Do have faith in what you're doing.