# 一个简单的 demo
def some_func(arg):
# does some heavy lifting
# outputs some results
time.sleep(10)
return 0
from concurrent.futures import ThreadPoolExecutor
import time
with ThreadPoolExecutor(max_workers = 1024) as executor:
for arg in range(10000):
future = executor.submit(some_func, arg)
print(len(executor._threads))
简单做了下压力测试,发现 windows 系统上的 python 线程并发负载还可以,一两千个线程还是能 handle 的。
但是发现了一个蛋疼的问题,比如如果你要提高负载能力,比如你想要让程序能同时负载 1000 个并发连接。那么线程池在触发并完成线程后,并不会自动释放资源。我原以为线程池有一些机制在,比如一小时闲置的话就会自动摧毁占用的线程,现在看来似乎不是这样的,一旦申请以后线程就一直在这里了。
有什么办法做改进吗?这些线程即使不用也在这里趴着,一方面吃内存,另一方面系统允许的最大线程数又是有限的,被大量占用。
贴条,讨论转移到 https://www.v2ex.com/t/739455了
1
wellsc 2020-12-27 16:39:45 +08:00
gil 的语言就别整天折腾多线程了,io 密集上协程,计算密集换技术栈
|
2
black11black OP @wellsc 这次折腾多线程的原因是,在用多线程封装一个同步 oracle 库,让他能在协程中使用。我肯定没时间再仔细用协程实现一个通讯协议,直接用多线程封装同步库是个很好的办法。只不过似乎并发能力和内存 /线程数似乎无法平衡。
|
3
black11black OP @black11black 同步执行一千条插入命令(比如业务上让他们没法被整合到同一条插入命令),这种需求我觉得还是挺常见的。但是如果要实现的话就要开 1000 个线程准备着,这也太蠢了,没办法用的时候现场申请吗。
|
4
delectate 2020-12-27 19:27:19 +08:00
协程,或者多进程。
|