这是一个创建于 2527 天前的主题，其中的信息可能已经有所发展或是发生改变。
目前有这样一个场景，每次会以文件流的形式推送一批数据（大概 500W 条）给服务器解析入库，该数据会先保存在磁盘上。因为读取数据到内存解析比较快，入库是 IO 操作比较慢，所以目前想到的思路是采用单生产者多消费者模型，其中多消费者采用线程池管理，Java 中使用 BlockingQueue 来做中间管道。
目前有这么一个需求，如果其中一个消费者入库出现异常，需要通知其他消费者停止消费，同时还要告知生产者放弃解析这批数据，直到下一批数据过来在此解析，请问下这种有什么好的方式来实现？
目前有这么一个需求，如果其中一个消费者入库出现异常，需要通知其他消费者停止消费，同时还要告知生产者放弃解析这批数据，直到下一批数据过来在此解析，请问下这种有什么好的方式来实现？
 |
1
zhx1991 2017-12-22 22:33:28 +08:00
不同数据本身有特征(比如 id)可以分开吗?
同类的数据(比如相同的 id, 需要严格保持先后顺序)可以走同一个管道, 然后这样某个管道挂了别的管道也依然可以正常处理别的数据 |
 |
2
qk3z 2017-12-23 00:09:04 +08:00
生产者和消费者共用一个标识符，生产者在每次解析的时候判断，消费者在每次入库的时候判断，但是这样感觉性能跟不上啊 -_-！
|
 |
5
crossoverJie 2018-01-12 13:44:35 +08:00
实时性要求高嘛？可以借助 MQ 失败之后发个消息，所有线程收到这个消息后停止工作。
|
 |
6
sununiq OP @crossoverJie 实时性要求不高，但是增加组件的话会增加整个系统的复杂度，有没有其他不增加其他组件的方法？
|
Select Language