1. XXL-JOB调度中心集群部署概述XXL-JOB作为一款轻量级分布式任务调度中间件已经成为许多企业定时任务管理的首选方案。我第一次接触这个框架是在2018年的一次电商项目重构中当时我们需要一个能够支撑数千个定时任务的调度系统。经过对比多个方案后XXL-JOB以其简单易用的特性脱颖而出。相比传统的Quartz调度框架XXL-JOB最大的优势在于它将调度器和执行器分离的设计理念。这种架构带来了几个显著好处首先调度中心不再需要承担繁重的任务执行压力其次执行器可以独立扩展不受调度中心限制最后整个系统的可用性得到了极大提升。在实际生产环境中单台调度中心可以轻松支撑6000个定时任务这对于大多数中型企业来说已经完全够用。集群部署的主要目的是解决单点故障问题。这里有个常见的误解很多人以为增加调度中心节点可以提高任务处理能力。实际上XXL-JOB的集群节点是主备关系而非负载均衡关系同一时间只有一个节点在执行调度任务。这种设计避免了分布式环境下常见的重复调度问题通过数据库行锁机制确保任务不会被重复执行。2. 环境准备与代码编译2.1 开发环境搭建在开始编译前我们需要准备以下环境JDK 1.8推荐OpenJDK 11Maven 3.5MySQL 5.7生产环境建议8.0Git客户端可选我习惯在Linux环境下进行部署这里以CentOS 7为例演示环境配置# 安装基础依赖 yum install -y git wget # 安装JDK wget https://download.java.net/openjdk/jdk11/ri/openjdk-1128_linux-x64_bin.tar.gz tar -xzf openjdk-1128_linux-x64_bin.tar.gz -C /usr/local/ # 配置环境变量 echo export JAVA_HOME/usr/local/jdk-11 /etc/profile echo export PATH$JAVA_HOME/bin:$PATH /etc/profile source /etc/profile2.2 源码获取与编译官方推荐使用Release版本而非直接克隆主分支。这里我推荐一个实用技巧通过GitHub API获取最新Release版本# 获取最新Release版本号 LATEST_VERSION$(curl -s https://api.github.com/repos/xuxueli/xxl-job/releases/latest | grep tag_name | cut -d -f 4) # 下载源码包 wget https://github.com/xuxueli/xxl-job/archive/refs/tags/${LATEST_VERSION}.tar.gz tar -xzf ${LATEST_VERSION}.tar.gz cd xxl-job-${LATEST_VERSION}编译时有个常见坑点国内开发者可能会遇到依赖下载慢的问题。解决方法是在Maven的settings.xml中添加阿里云镜像mirror idaliyunmaven/id mirrorOf*/mirrorOf name阿里云公共仓库/name urlhttps://maven.aliyun.com/repository/public/url /mirror执行编译命令mvn clean package -Dmaven.test.skiptrue编译成功后在xxl-job-admin/target目录下会生成可执行的jar包。建议记录下这个文件的MD5值便于后续版本管理md5sum xxl-job-admin/target/xxl-job-admin-*.jar3. 数据库配置与初始化3.1 数据库准备XXL-JOB的数据库脚本位于源码的/doc/db/tables_xxl_job.sql。生产环境中有几个关键配置需要注意字符集必须使用utf8mb4以支持完整的Unicode字符建议开启binlog便于数据恢复根据任务量调整InnoDB缓冲池大小创建数据库的推荐命令CREATE DATABASE xxl_job DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;执行初始化脚本后有几个表需要特别关注xxl_job_registry执行器注册表xxl_job_group执行器分组信息xxl_job_info任务配置表xxl_job_log任务执行日志3.2 配置文件调整打开xxl-job-admin/src/main/resources/application.properties有几个关键配置需要修改# 数据库配置 spring.datasource.urljdbc:mysql://127.0.0.1:3306/xxl_job?useUnicodetruecharacterEncodingUTF-8autoReconnecttrueserverTimezoneAsia/Shanghai spring.datasource.usernameroot spring.datasource.passwordyour_password # 调度中心通讯TOKEN生产环境必须修改 xxl.job.accessTokenyour_token_here # 国际化配置中文环境建议设置 xxl.job.i18nzh_CN生产环境中我强烈建议将accessToken设置为强密码。曾经有个客户因为使用默认token导致被恶意提交任务造成了严重事故。4. 集群部署实战4.1 服务启动与验证集群部署的核心原则是所有节点共享同一个数据库。启动多个实例时需要注意端口冲突问题。这里给出一个生产环境常用的启动脚本#!/bin/bash # 集群节点配置 PORTS(8080 8081 8082) JVM_OPTS-Xms2g -Xmx2g -XX:UseG1GC for PORT in ${PORTS[]}; do nohup java $JVM_OPTS -jar xxl-job-admin-*.jar --server.port$PORT /dev/null 21 echo 启动服务端口: $PORT done验证集群是否正常工作分别访问各节点接口http://ip:8080/xxl-job-admin查看数据库xxl_job_registry表应该能看到所有节点注册信息检查各节点日志确认没有报错4.2 系统时间同步集群环境下系统时间不同步会导致严重问题。建议在所有节点安装NTP服务# CentOS yum install -y ntp systemctl enable ntpd systemctl start ntpd ntpdate -u cn.pool.ntp.org # Ubuntu apt-get install -y ntp systemctl enable ntp systemctl start ntp可以使用crontab定期同步时间0 * * * * /usr/sbin/ntpdate cn.pool.ntp.org /dev/null 215. 生产环境优化配置5.1 Nginx反向代理配置生产环境推荐使用Nginx作为反向代理下面是一个优化过的配置示例upstream xxl-job-cluster { server 192.168.1.101:8080 weight3; server 192.168.1.102:8080 weight2; server 192.168.1.103:8080 weight1; keepalive 32; least_conn; } server { listen 443 ssl http2; server_name job.yourdomain.com; ssl_certificate /path/to/your/cert.pem; ssl_certificate_key /path/to/your/key.pem; location /xxl-job-admin { proxy_pass http://xxl-job-cluster; proxy_http_version 1.1; proxy_set_header Connection ; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; # 超时设置 proxy_connect_timeout 60s; proxy_read_timeout 600s; proxy_send_timeout 600s; } # 静态资源缓存 location ~* \.(js|css|png|jpg|gif|ico)$ { expires 7d; access_log off; } }5.2 高可用方案对于关键业务系统建议采用以下高可用措施调度中心节点部署在不同可用区数据库配置主从复制使用VIP或DNS轮询实现故障自动转移配置完善的监控告警系统监控指标建议调度中心节点存活状态任务执行成功率数据库连接池使用率任务积压数量6. 常见问题排查在三年多的XXL-JOB使用经历中我总结了一些典型问题的解决方法问题1调度中心节点频繁掉线检查网络连接稳定性确认数据库连接池配置合理查看registry表的自动清理配置问题2任务执行出现重复确认所有节点系统时间同步检查执行器是否重复注册验证accessToken配置是否一致问题3大量任务积压调整调度线程数xxl.job.triggerpool.fast.max优化执行器资源考虑任务分片执行日志分析技巧# 查看调度日志 grep JobThreadPool xxl-job-admin.log # 统计任务执行情况 SELECT job_desc, trigger_code, count(*) FROM xxl_job_log GROUP BY job_desc, trigger_code;