Python 多进程操作文件，文件锁好像并没有生效

[40huo]

import multiprocessing
import json
import time
import fcntl


def init():
    with open('list.txt', 'w') as f:
        f.write(json.dumps({'sids': {}}))


def list(data=None):
    if data is None:
        with open('list.txt', 'r') as f:
            fcntl.lockf(f.fileno(), fcntl.LOCK_EX)
            print(f.read())
            return json.loads(f.read())
    else:
        with open('list.txt', 'w') as f:
            fcntl.lockf(f.fileno(), fcntl.LOCK_EX)
            f.write(json.dumps(data))


def generate(sid):
    target = 'http://www.baidu.com'
    data = list()
    data['sids'][sid] = target
    print(len(data['sids']))
    list(data)
    time.sleep(5)


if __name__ == '__main__':
    init()
    processes = []
    for i in range(100):
        p = multiprocessing.Process(target=generate, args=(i,))
        processes.append(p)
        p.start()

    for p in processes:
        p.join()

几乎所有进程都报 json 解码错误

    raise ValueError("No JSON object could be decoded")
ValueError: No JSON object could be decoded

这是哪里出了问题？

放一个目前没问题的。

import multiprocessing
import json
import time
import fcntl


def init():
    with open('list.txt', 'w') as f:
        f.write(json.dumps({'sids': {}}))


def list_tmp(data=None):
    if data is None:
        with open('list.txt', 'r') as f:
            fcntl.flock(f, fcntl.LOCK_EX)
            data = f.read()
            return json.loads(data)
    else:
        with open('list.txt', 'r+') as f:
            fcntl.flock(f, fcntl.LOCK_EX)
            text = f.read()
            text = json.loads(text)
            text['sids'][data[0]] = data[1]
            f.seek(0)
            f.truncate()
            f.write(json.dumps(text))


def generate(sid):
    target = 'http://www.baidu.com'
    data = (sid, target)
    list_tmp(data)
    time.sleep(1)


if __name__ == '__main__':
    init()
    processes = []
    for i in range(100):
        p = multiprocessing.Process(target=generate, args=(i,))
        processes.append(p)
        p.start()

    for p in processes:
        p.join()

    with open('list.txt', 'r') as f:
        data = f.read()
        data = json.loads(data)
        print(len(data.get('sids')))

之前的代码读入旧数据不应该在写的部分的外面，这样多进程读入的本来就是不全的数据，另外 seek 和 truncate 也有很明显的作用，原因不知。。。

[wayslog]

data['sids'][sid] = target
print(len(data['sids']))

sid from ????

[xfwduke]

试试 list 函数直接把 f 返回出去, 并且让外部一直持有这个对象
之前碰到过类似的问题. 写了个

def lock (filename) 这样的函数
一直不生效

应该是在函数内部打开文件, 文件对象在函数完成后就关闭了. 锁也释放了

[xfwduke]

```python
def set_lock(block=False):
lock_f = open(os.path.join(os.path.dirname(os.path.abspath(sys.argv[0])),
'.{0}.lock'.format(os.path.splitext(os.path.basename(sys.argv[0]))[0])), 'w')
if block:
fcntl.flock(lock_f.fileno(), fcntl.LOCK_EX)
else:
fcntl.flock(lock_f.fileno(), fcntl.LOCK_EX | fcntl.LOCK_NB)
return lock_f
```

[a87150]

Python 3.6.2 (v3.6.2:5fd33b5, Jul 8 2017, 04:57:36) [MSC v.1900 64 bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> data = list()
>>> target = 'http://www.baidu.com'
>>> data['sids'][0] = target
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
TypeError: list indices must be integers or slices, not str

直接报错了，真的能这么写吗

[wwqgtxx]

我怎么觉得问题在这里
print(f.read())
return json.loads(f.read())
你读了两遍，写的时候却只写了一遍

[zhangysh1995]

lockf -> flock 试试，参考 https://stackoverflow.com/questions/28470246/python-lockf-and-flock-behaviour

你的 lock 用错了。lockf 对每一个人进程的 file descriptor 都是独立的，所以没用。
官方文档： https://docs.python.org/3/library/fcntl.html

[40huo]

@wwqgtxx #5 是有这个问题，去掉 print 后有少部分进程报 raise ValueError("No JSON object could be decoded")错误

[40huo]

@a87150 #4 list 是我自定义的函数，不是定义了一个列表。。。命名问题是我的锅。。。函数返回的是一个字典。

[40huo]

@zhangysh1995 #6 试过了，一样的问题

[zhangysh1995]

@wwqgtxx 刚才试了一下，这句话确实有问题，第二遍的时候 buffer 应该是空了

[40huo]

@zhangysh1995 #10 本来应该写 100 个，现在每次都有那么 4，5 个写失败。。。感觉这文件锁和假的一样。。。

[topbandit]

file lock 在打开文件之前获取，你把 fcntl.lockf(f.fileno(), fcntl.LOCK_EX)提到 open file 前面

[wwqgtxx]

@topbandit 你在 open 之前根本就没有 f 这个对象，怎么 lock

[lolizeppelin]

直接 fork 不要用库试试

[virusdefender]

6 楼正解