V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
tjq
V2EX  ›  Java

[PowerJob] 值得你拥有的新一代分布式任务调度与计算框架

  •  
  •   tjq ·
    KFCFans · 2020-06-30 08:42:34 +08:00 · 3763 次点击
    这是一个创建于 1636 天前的主题,其中的信息可能已经有所发展或是发生改变。

    一句话介绍:PowerJob 是新一代分布式任务调度与计算框架,支持 CRON 、API 、固定频率、固定延迟等调度策略,提供工作流来编排任务解决依赖关系,支持 MapReduce 分布式计算,使用简单,功能强大,文档齐全,欢迎各位接入使用!

    主要特性

    • 使用简单:提供 Web 界面,允许开发者可视化地完成调度任务的管理(增、删、改、查)、任务运行状态监控和运行日志查看等功能。
    • 定时策略完善:支持 CRON 表达式、固定频率、固定延迟和 API 四种定时调度策略。
    • 执行模式丰富:支持单机、广播、Map 、MapReduce 四种执行模式,其中 Map/MapReduce 处理器能使开发者寥寥数行代码便获得集群分布式计算的能力。
    • DAG 工作流支持:支持在线配置任务依赖关系,可视化得对任务进行编排,同时还支持上下游任务间的数据传递
    • 执行器支持广泛:支持 Spring Bean 、内置 /外置 Java 类、Shell 、Python 等处理器,应用范围广。
    • 运维便捷:支持在线日志功能,执行器产生的日志可以在前端控制台页面实时显示,降低 debug 成本,极大地提高开发效率。
    • 依赖精简:最小仅依赖关系型数据库( MySQL/Oracle/MS SQLServer...),扩展依赖为 MongoDB (用于存储庞大的在线日志)。
    • 高可用&高性能:调度服务器经过精心设计,一改其他调度框架基于数据库锁的策略,实现了无锁化调度。部署多个调度服务器可以同时实现高可用和性能的提升(支持无限的水平扩展)。
    • 故障转移与恢复:任务执行失败后,可根据配置的重试策略完成重试,只要执行器集群有足够的计算节点,任务就能顺利完成。

    相关链接

    项目地址:GitHub

    文档地址:点击查看

    在线试用:点击查看

    9 条回复    2020-06-30 15:33:42 +08:00
    w292614191
        1
    w292614191  
       2020-06-30 09:03:28 +08:00
    又是你,嘿嘿嘿嘿嘿嘿嘿嘿
    w292614191
        2
    w292614191  
       2020-06-30 09:07:09 +08:00
    在工作流,删除任务,点击节点删除,在点击节点又是删除?这个一点提示都没有唉。
    tjq
        3
    tjq  
    OP
       2020-06-30 09:33:08 +08:00
    @w292614191 哈哈哈,推广不易~只能定期发发广告。

    嗯,这算是个小问题。不过了解完整操作流程以后能用就行~毕竟前端页面只是起辅助作用。
    tikazyq
        4
    tikazyq  
       2020-06-30 10:48:07 +08:00
    有不有相关的应用场景,啥时候用 xxl-job,啥时候用 powerjob ?
    tjq
        5
    tjq  
    OP
       2020-06-30 10:57:21 +08:00
    @tikazyq README 中有同类框架的对比,如果你有分布式计算或工作流的需求,那么 xxl-job 无法满足你的需求,只能用 PowerJob 。
    其他情况看个人喜好喽~ xxl-job 的优势是老牌调度框架,发展多年用户基数大。PowerJob 则是后起之秀,功能更强大特性更丰富。

    (当然,作为开发者,我自然是推荐你无脑上 PowerJob 的,哈哈哈~
    EastLord
        6
    EastLord  
       2020-06-30 14:09:29 +08:00
    为啥不和 Elastic-Job 比较呢
    tjq
        7
    tjq  
    OP
       2020-06-30 14:16:17 +08:00
    @EastLord Elastic-Job 其实和 quartz 差不多是一个东西,都是那种自产自销的任务调度框架。而 xxl-job 、PowerJob 之类的其实属于中间件范畴,任务调度中间件。适合一个公司统一部署调度服务器,然后底下各个业务线接入。

    本质不同,所以也就没列上去了。
    Still4
        8
    Still4  
       2020-06-30 15:14:36 +08:00
    好奇有跟 airflow 对比过嘛
    tjq
        9
    tjq  
    OP
       2020-06-30 15:33:42 +08:00
    @Still4 有的,面向的领域不同~相见官方文档的 FAQ 章节

    https://www.yuque.com/powerjob/guidence/zk2la4
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   918 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 19:48 · PVG 03:48 · LAX 11:48 · JFK 14:48
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.