V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Daring Fireball: Markdown
CommonMark
MacDown Open Source Markdown Editor
Marked
GitHub Flavored Markdown
xuxueli
V2EX  ›  Markdown

分布式任务调度平台 XXL-JOB

  •  1
     
  •   xuxueli · 2017-03-07 16:25:38 +08:00 · 3531 次点击
    这是一个创建于 2828 天前的主题,其中的信息可能已经有所发展或是发生改变。

    《分布式任务调度平台 XXL-JOB 》

    一、简介

    1.1 概述

    XXL-JOB 是一个轻量级分布式任务调度框架,其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线,开箱即用。

    1.2 特性

    • 1 、简单:支持通过 Web 页面对任务进行 CRUD 操作,操作简单,一分钟上手;
    • 2 、动态:支持动态修改任务状态、暂停 /恢复任务,以及终止运行中任务,即时生效;
    • 3 、调度 HA :“调度中心”基于集群 Quartz 实现,可保证调度中心 HA ;
    • 4 、任务 HA :任务"执行器"支持集群部署,可保证任务执行 HA ;
    • 5 、任务 Failover :执行器集群部署时,调度失败时将会平滑切换执行器进行 Failover ;
    • 6 、一致性:“调度中心”通过 DB 锁保证集群分布式调度的一致性, 一次任务调度只会触发一次执行;
    • 7 、自定义任务参数:支持在线配置调度任务入参,即时生效;
    • 8 、调度线程池:调度系统多线程触发调度运行,确保调度精确执行,不被堵塞;
    • 9 、执行日志:支持在线查看调度结果,并且查看完整的执行日志;
    • 10 、邮件报警:任务失败时支持邮件报警,支持配置多邮件地址群发报警邮件;
    • 11 、支持登录验证;
    • 12 、 GLUE :提供 Web IDE ,支持在线开发任务逻辑代码,动态发布,实时编译生效,省略部署上线的过程。支持 30 个版本的历史版本回溯。
    • 13 、数据加密:调度中心和执行器之间的通讯进行数据加密,提升调度信息安全性;
    • 14 、任务依赖:支持配置子任务依赖,当父任务执行结束且执行成功后将会主动触发一次子任务的执行, 多个子任务用逗号分隔;
    • 15 、推送 maven 中央仓库: 将会把最新稳定版推送到 maven 中央仓库, 方便用户接入和使用;
    • 16 、任务注册: 执行器会周期性自动注册任务, 调度中心将会自动发现注册的任务并触发执行。

    1.3 发展

    于 2015 年中,我在 github 上创建 XXL-JOB 项目仓库并提交第一个 commit ,随之进行系统结构设计, UI 选型,交互设计……

    于 2015-11 月, XXL-JOB 终于 REALEASE 了第一个大版本 V1.0 , 随后我将之发布到 OSCHINA , XXL-JOB 在 OSCHINA 上获得了 @红薯的热门推荐,同期分别达到了 OSCHINA 的“热门动弹”排行第一和 git.oschina 的开源软件月热度排行第一,在此特别感谢红薯,感谢大家的关注和支持。

    于 2015-12 月,我将 XXL-JOB 发表到我司内部知识库,并且得到内部同事认可。

    于 2016-01 月我司展开 XXL-JOB 的内部接入和定制工作,在此感谢袁某和尹某两位同事的贡献,同时也感谢内部其他给与关注与支持的同事。

    我司大众点评目前已接入 XXL-JOB ,内部别名《 Ferrari 》( Ferrari 基于 XXL-JOB 的 V1.1 版本定制而成,新接入应用推荐升级最新版本)。据最新统计, 自 2016-01-21 接入至 2017-02-07 期间,该系统已调度约 30 万次,表现优异。新接入应用推荐使用最新版本,因为经过数个大版本的更新,系统的任务模型、 UI 交互模型以及底层调度通讯模型都有了较大的优化和提升,核心功能更加稳定高效。

    至今, XXL-JOB 已接入多家公司的线上产品线,接入场景如电商业务, O2O 业务和大数据作业等,截止 2016-07-19 为止, XXL-JOB 已接入的公司包括不限于:

    - 1 、大众点评;
    - 2 、山东学而网络科技有限公司;
    - 3 、安徽慧通互联科技有限公司;
    - 4 、人人聚财金服;
    - 5 、上海棠棣信息科技股份有限公司
    - 6 、运满满
    - 7 、米其林 (中国区)
    - 8 、妈妈联盟
    - 9 、九樱天下(北京)信息技术有限公司
    - 10 、万普拉斯科技有限公司(一加手机)
    - 11 、上海亿保健康管理有限公司
    - 12 、海尔馨厨 (海尔)
    - 13 、河南大红包电子商务有限公司
    - 14 、成都顺点科技有限公司
    - 15 、深圳市怡亚通
    - 16 、深圳麦亚信科技股份有限公司
    - 17 、上海博莹科技信息技术有限公司
    - ……
    

    欢迎大家的关注和使用, XXL-JOB 也将拥抱变化,持续发展。

    1.4 下载

    源码地址 (将会在两个 git 仓库同步发布最新代码)
    中央仓库地址 (最新 Release 版本)
    <!-- http://repo1.maven.org/maven2/com/xuxueli/xxl-job-core/ -->
    <dependency>
        <groupId>com.xuxueli</groupId>
        <artifactId>xxl-job-core</artifactId>
        <version>1.5.2</version>
    </dependency>
    
    博客地址 (将会在两个博客同步更新文档)
    技术交流群 (仅作技术交流)
    • 群 2 : 438249535 image
    • 群 1 : 367260654 image (群 1 已满,请加群 2 )
    Download: 历史 Release 版本下载位置如下图所示,请自行前往进行选择和下载。

    输入图片说明

    xuxueli
        1
    xuxueli  
    OP
       2017-03-07 16:28:32 +08:00
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1089 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 19:20 · PVG 03:20 · LAX 11:20 · JFK 14:20
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.