最近在做一个日志收集和处理系统,用到了mongodb。每个客户端收集数据解析成json通过zeromq发给服务器端处理入库,在入库的时候我想开多个进程往mongodb里面写入,但是多进程环境下,如果多个进程同时修改一个文档
例如这样的句子:
update_key = ".".join([channel,grid])
up_rv = mvod.update(
{"day":day},
{"$inc":{update_key:totalbyte}}
)
会不会产生脏数据,如果有那么请问是怎么规避的呢?大家有没有在多进程环境下使用mongodb的经验吗,如果有的话是怎样实现的呢?
1
EPr2hh6LADQWqRVH 2015-03-12 12:07:34 +08:00 1
不会,$inc操作是atomic的
|
2
futursolo 2015-03-12 12:10:49 +08:00 1
锁库就可以了。
等处理完一条再把库解锁。 或者等等3.0的文档级锁。 有在用MongoDB,不过是异步的Tornado。 |
3
cevincheung 2015-03-12 12:15:18 +08:00 1
postgresql
|
4
answerw OP 谢谢大家!
所有操作都修改成mongodb的update operators ($set,$push,$inc)了。我用版本是2.4.12,看文档上说貌似读写删都会锁,mongodb默认是有锁的,也就是说只要使用了mongodb的更新操作器的原子操作之后,就不会有脏数据写入了。postgresql的话,不想从一个坑再跳到另一个坑了。 |
5
sxiong 2016-04-18 17:03:20 +08:00
请问楼主你多个进程可以功用一个 MongoClient 吗?希望给个代码
|