MilletChili 最近的时间轴更新 MilletChili 最近的时间轴更新 |
MilletChiliV2EX 第 360709 号会员，加入于 2018-11-04 09:09:03 +08:00 |
| 异步分片上传文件，我这样做合适吗？ 程序员 • MilletChili • 2020-04-26 18:37:44 PM • 最后回复来自 MilletChili | 13 |
| 异步分片上传文件，大家都是怎么做的呢 调查 • MilletChili • 2020-04-23 12:01:12 PM |
| Java UUID 如何使用 1 版本？ Java • MilletChili • 2020-03-04 15:14:36 PM • 最后回复来自 MilletChili | 2 |
MilletChili 最近回复了
2021-02-10 14:15:41 +08:00 回复了 Steps 创建的主题 › 职场话题 › 大家还在公司的，你们的公司气氛是什么样子的？ |
摸爆
2020-04-26 18:37:44 +08:00 回复了 MilletChili 创建的主题 › 程序员 › 异步分片上传文件，我这样做合适吗？ |
@MilletChili 说错了，redis 单线程
2020-04-26 18:31:17 +08:00 回复了 MilletChili 创建的主题 › 程序员 › 异步分片上传文件，我这样做合适吗？ |
python 代码
# 加锁判断当前分片是否是最后一个
is_last_slice = False
if redis_helper.incr(sign) == slice_num:
is_last_slice = True
# with transaction.atomic():
# if SliceLock.objects.select_for_update().filter(sign=sign).first():
# if slice_num == len(os.listdir(temp_dir_path)):
# is_last_slice = True
# else:
# code, msg, data = (GlobalsCode.Err, 'sign 不存在', {'slice_name': slice_f.name})
# return retCORS(code, msg, data)
# 加锁判断当前分片是否是最后一个
is_last_slice = False
if redis_helper.incr(sign) == slice_num:
is_last_slice = True
# with transaction.atomic():
# if SliceLock.objects.select_for_update().filter(sign=sign).first():
# if slice_num == len(os.listdir(temp_dir_path)):
# is_last_slice = True
# else:
# code, msg, data = (GlobalsCode.Err, 'sign 不存在', {'slice_name': slice_f.name})
# return retCORS(code, msg, data)
2020-04-26 18:26:36 +08:00 回复了 MilletChili 创建的主题 › 程序员 › 异步分片上传文件，我这样做合适吗？ |
@h4de5 嗯，我之前说的不太清楚，应该是阿里云 oss 都是同步着传的，不会有并发的问题。我这边找到一个比较好的方案了，用 redis 的 incr，每保存一个分片就 incr 一下分片数，redis 单进程的不受并发影响，而且基于内存还快，比关系数据库开事务加锁快多了
2020-04-24 10:06:46 +08:00 回复了 MilletChili 创建的主题 › 程序员 › 异步分片上传文件，我这样做合适吗？ |
@mlxj 文件 id 指的是啥？ MD5 值吗
2020-04-23 16:10:55 +08:00 回复了 MilletChili 创建的主题 › 程序员 › 异步分片上传文件，我这样做合适吗？ |
@h4de5 阿里云 oss 的 sdk 都是安顺序一个一个分片传的，我开几个线程异步着传分片的情况呢
2020-04-23 16:01:34 +08:00 回复了 MilletChili 创建的主题 › 程序员 › 异步分片上传文件，我这样做合适吗？ |
@MilletChili 我说的是最后几个分片哈
2020-04-23 16:00:13 +08:00 回复了 MilletChili 创建的主题 › 程序员 › 异步分片上传文件，我这样做合适吗？ |
@mlxj 但请求是异步的啊，在判断<当前分片数==总数> 前，得加锁，不加的话，可能出现多个分片上传的请求中判断<当前分片数==总数>都成立或不成立的情况
Select Language