首页
注册
登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请
登录
V2EX
›
开源软件
分布式服务器的框架下,自动分配多台服务器分别完成执行一批任务,并考虑高可用与失败换服务器再执行,类似设计如何最优雅
matepi
·
2023-06-16 09:02:02 +08:00
· 995 次点击
这是一个创建于 555 天前的主题,其中的信息可能已经有所发展或是发生改变。
各种的做法,好多好多;然后公司里面自己也发明了好多
1 、用 Quartz 集群模式;但缺点是数据库得加一堆表
2 、redis 加锁并超时;可以处理超时情况,但得设施 /技术栈上就得额外引入 redis
3 、数据库建立任务表,任务记录加锁;但得自己处理超时中断、任务换手到其他服务器执行等等策略
4 、zookeeper 取锁;类似于 redis
5 、数据库建立专表,直接锁表取锁;类似于任务表,但执行粒度更粗
等等等等,为啥这种基本大家都会有的需求,没有业界事实标准性的统一轮子呢…
Redis
任务
数据库
超时
2 条回复
•
2023-06-16 14:58:46 +08:00
1
Aumujun
2023-06-16 09:26:07 +08:00
hadoop 那一套
2
matepi
OP
2023-06-16 14:58:46 +08:00
@
Aumujun
hadoop 那套是指 mr 找 datanode 那一套?但很多的场景其实也不是这么复杂的大数据处理场景。只是类似需要一个分布式系统里面,找个节点去执行个和第三方 api 做个连接,取一些业务参数更新到本地数据库之类的事情。很简单的任务,但要保证高可用和超时失败重做等要求。
关于
·
帮助文档
·
博客
·
API
·
FAQ
·
实用小工具
·
2614 人在线
最高记录 6679
·
Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 22ms ·
UTC 10:53
·
PVG 18:53
·
LAX 02:53
·
JFK 05:53
Developed with
CodeLauncher
♥ Do have faith in what you're doing.