开发者社区> 黄晓萌> 正文

阿里巴巴任务调度SchedulerX兼容XXL-JOB

简介: 阿里巴巴任务调度SchedulerX2.0兼容XXL-JOB任务接口,支持@XxlJob新注解和@JobHandler老注解方式,用户不需要修改一行代码,即可以将XXL-JOB任务在SchedulerX2.0平台上托管。
+关注继续查看

背景介绍

XXL-JOB是一个开箱即用的轻量级分布式任务调度系统,其核心设计目标是开发迅速、学习简单、轻量级、易扩展,在开源社区广泛流行,已在多家公司投入使用。


因为XXL-JOB开源协议是GPL,云厂商无法直接商业化托管该产品,各大中小企业需要自建,增加了学习成本、机器成本、人工运维成本。


阿里巴巴商业化任务调度平台SchedulerX2.0兼容XXL-JOB任务接口,支持@XxlJob新注解和@JobHandler老注解方式,用户不需要修改一行代码,即可以将XXL-JOB任务在SchedulerX2.0平台上托管。


托管XXL-JOB的优势

免运维、低成本

自建XXL-JOB至少需要2个server+1个数据库

托管XXL-JOB可以省去机器成本,省去人力运维成本


海量任务、精准调度

开源XXL-JOB基于竞争数据库锁保证只有一个节点执行任务,对于数据库有压力,据统计,当任务超过1万,都是分钟级别的任务时,就会有比较明显的调度延时,如果是秒级别任务,延时就更加明显。


SchedulerX2.0采用分布式架构,不同的server调度不同的任务,且无锁竞争,真正实现可以水平扩展,可以支持百万级别任务调度。针对秒级别任务低延时的特性,采用了专门的架构,占用资源极低,可以作为实时业务的秒级别调度场景。


另外,SchedulerX2.0还支持一次性任务,可以指定未来某个时刻执行一次任务,执行完任务自动销毁,可以作为定时通知、订单定时关闭等场景。


丰富的可视化

schedulerx拥有丰富的可视化能力,比如

  • 用户大盘

image

  • 查看任务历史执行记录

image

  • 查看任务运行日志

image

  • 查看任务运行堆栈

image

  • 查看任务操作记录

image


高级特性

  • 任务编排:支持工作流(DAG)进行任务编排,操作简单,前端直接单手操作拖拖拽拽即可。详细的任务状态图能一目了然看到下游任务为什么没跑。

image


  • 限流:常见场景是夜间离线报表业务,比如很多报表任务是晚上1、2点开始跑,要控制应用最大并发的任务数量(否则业务扛不住),达到并发上限的任务会在队列中等待。同时要求早上9点前必须把KPI报表跑出来,可以设置KPI任务高优先级,会抢占低优先级任务优先调度。

SchedulerX支持可抢占的任务优先级队列,只需要在控制台进行配置

image

  • 资源隔离:支持命名空间和应用级别资源隔离,支持多租户权限管理


企业级高可用

SchedulerX2.0采用高可用架构,任务多备份机制,经历阿里集团多年双十一、容灾演练,可以做到整个集群挂掉任意2个节点或者任意一个机房断电,任务调度都不会收到影响。


商业化报警运维

  • 报警:支持邮件、钉钉、短信、电话,其他报警方式在规划中。支持任务失败、超时、无可用机器报警。报警内容可以简单的看出任务失败的原因,以钉钉机器人为例

image

  • 运维操作:原地重跑、重刷数据、标记成功、查看堆栈、停止任务、指定机器等

image


与开源XXL-JOB区别

开源xxl-job

SchedulerX为底座的xxl-job任务

Bean模式

新版本@XxlJob注解,老版本@JobHandler注解,不兼容

同时兼容@XxlJob注解和@JobHandler注解

GLUE(JAVA)

支持

不支持(有计划)

Shell

支持

支持

Nodejs

支持

支持

http

不支持

支持

单机

支持

支持

分片广播

支持

支持

路由策略

第一个、最后一个、轮询、随机等

轮询

定时

cron

cron、fixed_rate、fixed_delay、one_time

工作流

不支持

支持

运维操作

运行一次

运行一次、原地重跑、重刷数据、标记成功、停止运行

报警

邮件

邮件、钉钉群、短信、电话


如何接入(有完整demo可供下载)

接入配置

将com.xuxueli:xxl-job-core的依赖去除,增加schedulerx客户端的依赖和com.aliyun:schedulerx2-plugin-xxljob这个插件,以schedulerx2-spring-boot-starter为例:


因为xxl-job在2.3.x版本重构了接口,请根据xxl-job版本选择不同的接入方式

  • 2.3.x版本接入,参考demo
<!-- 注释xxl-job-core -->
<!--
<dependency>
    <groupId>com.xuxueli</groupId>
    <artifactId>xxl-job-core</artifactId>
    <version>${project.parent.version}</version>
</dependency>
-->

<dependency>
    <groupId>com.aliyun.schedulerx</groupId>
    <artifactId>schedulerx2-spring-boot-starter</artifactId>
    <version>1.4.0</version>
</dependency>

<dependency>
    <groupId>com.aliyun.schedulerx</groupId>
    <artifactId>schedulerx2-plugin-xxljob</artifactId>
    <version>2.3.0</version>
</dependency>
  • 2.3.0以下版本接入,参考demo
<!-- 注释xxl-job-core -->
<!--
<dependency>
    <groupId>com.xuxueli</groupId>
    <artifactId>xxl-job-core</artifactId>
    <version>${project.parent.version}</version>
</dependency>
-->

<dependency>
    <groupId>com.aliyun.schedulerx</groupId>
    <artifactId>schedulerx2-spring-boot-starter</artifactId>
    <version>1.4.0</version>
</dependency>

<dependency>
    <groupId>com.aliyun.schedulerx</groupId>
    <artifactId>schedulerx2-plugin-xxljob</artifactId>
    <version>1.3.4.1</version>
</dependency>


application.properties增加配置

spring.schedulerx2.endpoint=xxxxxxx
spring.schedulerx2.namespace=xxxxxxx
spring.schedulerx2.groupId=xxxxxxxx
spring.schedulerx2.appKey=xxxxxxx


创建任务

@XxlJob方法注解

以xxl-job-2.2.1接口为例,参考开源xxl-job-executor-sample-springboot工程,新建方法任务

image


控制台新建任务

image

image


手动运行一次,可以打印任务参数

image


@JobHandler类注解

新建代码如下

image


控制台新建任务如下

image


成功打印任务参数:

image


分片广播

以XxlJob方法注解为例,新建代码如下

image


控制台新建任务

image


启动2个客户端实例,运行一次,分别打印

image

image


XXL-JOB批量迁移工具

导出xxl-job任务配置

  1. 下载工具,地址:https://schedulerx2.oss-cn-hangzhou.aliyuncs.com/tools/xxljob-export.tar.gz
  2. 解压工具包,在application.properties文件中进行导出配置

image

### xxl-job, datasource
datasource.url=jdbc:mysql://127.0.0.1:3306/xxl_job?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&serverTimezone=Asia/Shanghai
datasource.username=root
datasource.password=123456
datasource.driver-class-name=com.mysql.cj.jdbc.Driver

### 配置对应要导出的app-name(该步骤可选,不设置的情况下导出所有任务分组)
#xxl-job.app-name=xxl-job-executor-sample
  1. 执行./start.sh命令运行导出操作

image

  1. 执行完成后,在当前目录下获得 "xxljob_*******.json"的任务配置文件(仅Bean模式的任务配置信息)

任务导入SchedulerX

  1. 进入SchedulerX控制台,进入“任务管理”菜单,选择“应用”->“导入任务”

image

  1. 选择上节中导出的任务配置文件执行导入,即可完成xxl-job任务配置信息至SchedulerX任务配置信息同步。


版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,大概有三种登录方式:
9142 0
使用SSH远程登录阿里云ECS服务器
远程连接服务器以及配置环境
12574 0
阿里云服务器怎么设置密码?怎么停机?怎么重启服务器?
如果在创建实例时没有设置密码,或者密码丢失,您可以在控制台上重新设置实例的登录密码。本文仅描述如何在 ECS 管理控制台上修改实例登录密码。
19783 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,云吞铺子总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系统盘、创建快照、配置安全组等操作如何登录ECS云服务器控制台? 1、先登录到阿里云ECS服务器控制台 2、点击顶部的“控制台” 3、通过左侧栏,切换到“云服务器ECS”即可,如下图所示 通过ECS控制台的远程连接来登录到云服务器 阿里云ECS云服务器自带远程连接功能,使用该功能可以登录到云服务器,简单且方便,如下图:点击“远程连接”,第一次连接会自动生成6位数字密码,输入密码即可登录到云服务器上。
32810 0
阿里云服务器端口号设置
阿里云服务器初级使用者可能面临的问题之一. 使用tomcat或者其他服务器软件设置端口号后,比如 一些不是默认的,?mysql的 3306,?mssql的1433,有时候打不开网页, 原因是没有在ecs安全组去设置这个端口号. 解决: 点击ecs下网络和安全下的安全组 在弹出的安全组中,如果没有就新建安全组,然后点击配置规则 最后如上图点击添加...或快速创建. ? have?fun! ?将编程看作是一门艺术,而不单单是个技术。
18042 0
使用NAT网关轻松为单台云服务器设置多个公网IP
在应用中,有时会遇到用户询问如何使单台云服务器具备多个公网IP的问题。 具体如何操作呢,有了NAT网关这个也不是难题。
34615 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,阿里云优惠总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系.
24827 0
windows server 2008阿里云ECS服务器安全设置
最近我们Sinesafe安全公司在为客户使用阿里云ecs服务器做安全的过程中,发现服务器基础安全性都没有做。为了为站长们提供更加有效的安全基础解决方案,我们Sinesafe将对阿里云服务器win2008 系统进行基础安全部署实战过程! 比较重要的几部分 1.
11772 0
+关注
黄晓萌
新一代分布式任务调度Schedulerx2.0的发起者
21
文章
1
问答
文章排行榜
最热
最新
相关电子书
更多
OceanBase 入门到实战教程
立即下载
阿里云图数据库GDB,加速开启“图智”未来.ppt
立即下载
实时数仓Hologres技术实战一本通2.0版(下)
立即下载
http://www.vxiaotou.com