V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Tinngi
V2EX  ›  编程

多线程异步处理情况下,如何保证局部顺序处理,有什么模型可以提高处理效率,又能保证顺序?

  •  
  •   Tinngi · 2016-11-15 12:00:18 +08:00 · 3650 次点击
    这是一个创建于 2922 天前的主题,其中的信息可能已经有所发展或是发生改变。

    比如说:有一群人在讲话,需要处理每个人讲的话。为了提高处理速度,将每段话多线程异步处理,但是又要保证同一个人的话按顺序处理。(即可以不保证全局顺序,但要保证局部顺序) 有什么模型可以做到?

    我想的方法有两个: 1 、一个线程池,同时维护一个每个线程执行任务的信息。新的任务来了,判断是否有对应用一资源执行的任务,放在一个等待队列里。起一个定时作业,轮询是否完成。若完成放入线程池执行。 2 、起多个线程,多少个线程就起多少个队列,线程 take 队列里的 task 。拿到消息 hash 到各自队列中. 在知乎上提了个问题欢迎大家解答。 https://www.zhihu.com/question/52616271

    1 条回复    2016-11-15 16:20:03 +08:00
    ryd994
        1
    ryd994  
       2016-11-15 16:20:03 +08:00
    总的来讲,是每人一个线程
    当然,这里说一个线程并不需要是操作系统里一个实际线程
    简单高效就是用协程,比如 greenlet ,比如 golang
    复杂点就是 event based ,实际上无非自己实现一遍协程
    要同时保证线程内部有序就线程内加锁

    或者用 worker 模型,启动的时候启动多个 worker ,由 dispatcher 分批给某个 worker ,从此保证来自这个用户的事件只由这个 worker 处理,就不需要加锁
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3962 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 04:12 · PVG 12:12 · LAX 20:12 · JFK 23:12
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.