v1.9.2 新版本

  • 1、任務超時控制：新增任務屬性 "任務超時時間"，並支持自定義，任務運行超時將會主動中斷任務；
  • 2、任務失敗重試次數：新增任務屬性 "失敗重試次數"，並支持自定義，當任務失敗時將會按照預設的失敗重試次數主動進行重試；同時收斂廢棄其他失敗重試策略，如調度失敗、執行失敗、狀態碼失敗等；
  • 3、新增任務運行模式 "GLUE模式(PHP) "，支持php腳本任務；
  • 4、新增任務運行模式 "GLUE模式(PowerShell) "，支持PowerShell腳本任務；
  • 5、調度全非同步處理：任務觸發之後，推送到調度隊列，多線程並發處理調度請求，提高任務調度速率的同時，避免因網路問題導致quartz調度線程阻塞的問題；
  • 6、執行器任務結果落盤優化：執行器回調失敗時將任務結果寫磁碟，待重啟或網路恢復時重試回調任務結果，防止任務執行結果丟失；
  • 7、任務日誌查詢速度大幅提升：百萬級別數據量搜索速度提升1000倍；
  • 8、調度中心提供API服務，支持通過API服務對任務進行查詢、新增、更新、啟停等操作；
  • 9、底層自研Log組件參數佔位符改為"{}"，並修複列印有參日誌時參數不匹配導致報錯的問題；
  • 10、任務回調結果優化，支持展示在Rolling log中，方便問題排查；
  • 11、底層LocalCache組件兼容性優化，支持jdk9、jdk10及以上版本編譯部署；
  • 12、告警郵件固定使用 UTF-8 編碼格式，修復由機器編碼導致的郵件亂碼問題；
  • 13、告警郵件中展示失敗告警信息；
  • 14、告警郵箱支持SSL配置；
  • 15、Window機器下File.separator不兼容問題修復；
  • 16、腳本任務異常Log輸出優化；
  • 17、任務線程停止變數修飾符優化；
  • 18、腳本任務Log文件流關閉優化；
  • 19、任務報表成功、失敗和進行中統計問題修復；
  • 20、核心依賴Core內部國際化處理；
  • 21、默認Quartz線程數調整為50；
  • 22、新增左側菜單"運行報表"；
  • 23、執行器手動設置IP時取消綁定Host的操作，該IP僅供執行器註冊使用；修復指定外網IP時無法綁定執行器Host的問題；
  • 24、取消父子任務不可重複的限制，支持循環任務觸發等特殊場景；
  • 25、任務調度備註中標註任務觸發類型，如Cron觸發、父任務觸發、API觸發等等，方便排查調度日誌；
  • 26、底層日誌組件SimpleDateFormat線程安全問題修復；
  • 27、執行器通訊線程優化，corePoolSize從256降低至32；
  • 28、任務日誌表狀態欄位類型優化；
  • 29、GLUE腳本文件自動清理功能，及時清理過期腳本文件；
  • 30、執行器註冊方式切換優化，切換自動註冊時主動同步在線機器，避免執行器為空的問題；
  • 31、跨平臺：除了提供Java、Python、PHP等十來種任務模式之外，新增提供基於HTTP的任務模式；
  • 32、底層RPC序列化協議調整為hessian2；
  • 33、修復表欄位 「t.order」與資料庫關鍵字衝突查詢失敗的問題，
  • 34、任務屬性枚舉 "任務模式、阻塞策略" 國際化優化；
  • 35、分片任務失敗重試優化，僅重試當前失敗的分片；
  • 36、任務觸發時支持動態傳參，調度中心與API服務均提供提供動態參數功能；
  • 37、任務執行日誌、調度日誌欄位類型調整，改為text類型並取消字數限制；
  • 38、GLUE任務腳本欄位類型調整，改為mediumtext類型，提高GLUE長度上限；
  • 39、任務監控線程Log輸出優化，運行中任務的監控Log改為debug級別，減少非核心日誌量；
  • 40、項目依賴全量升級至較新穩定版本，如spring、Jackson、groovy等等；
  • 41、docker支持：調度中心提供 Dockerfile 方便快速構建docker鏡像；

《分散式任務調度平臺XXL-JOB》

1.1 概述

XXL-JOB是一個輕量級分散式任務調度平臺，其核心設計目標是開發迅速、學習簡單、輕量級、易擴展。現已開放源代碼並接入多家公司線上產品線，開箱即用。

1.2 特性

  • 1、簡單：支持通過Web頁面對任務進行CRUD操作，操作簡單，一分鐘上手；
  • 2、動態：支持動態修改任務狀態、暫停/恢復任務，以及終止運行中任務，即時生效；
  • 3、調度中心HA（中心式）：調度採用中心式設計，「調度中心」基於集羣Quartz實現並支持集羣部署，可保證調度中心HA；
  • 4、執行器HA（分散式）：任務分散式執行，任務"執行器"支持集羣部署，可保證任務執行HA；
  • 5、註冊中心: 執行器會週期性自動註冊任務, 調度中心將會自動發現註冊的任務並觸發執行。同時，也支持手動錄入執行器地址；
  • 6、彈性擴容縮容：一旦有新執行器機器上線或者下線，下次調度時將會重新分配任務；
  • 7、路由策略：執行器集羣部署時提供豐富的路由策略，包括：第一個、最後一個、輪詢、隨機、一致性HASH、最不經常使用、最近最久未使用、故障轉移、忙碌轉移等；
  • 8、故障轉移：任務路由策略選擇"故障轉移"情況下，如果執行器集羣中某一臺機器故障，將會自動Failover切換到一臺正常的執行器發送調度請求。
  • 9、阻塞處理策略：調度過於密集執行器來不及處理時的處理策略，策略包括：單機串列（默認）、丟棄後續調度、覆蓋之前調度；
  • 10、任務超時控制：支持自定義任務超時時間，任務運行超時將會主動中斷任務；
  • 11、任務失敗重試：支持自定義任務失敗重試次數，當任務失敗時將會按照預設的失敗重試次數主動進行重試；其中分片任務支持分片粒度的失敗重試；
  • 12、任務失敗告警；默認提供郵件方式失敗告警，同時預留擴展介面，可方面的擴展簡訊、釘釘等告警方式；
  • 13、分片廣播任務：執行器集羣部署時，任務路由策略選擇"分片廣播"情況下，一次任務調度將會廣播觸發集羣中所有執行器執行一次任務，可根據分片參數開發分片任務；
  • 14、動態分片：分片廣播任務以執行器為維度進行分片，支持動態擴容執行器集羣從而動態增加分片數量，協同進行業務處理；在進行大數據量業務操作時可顯著提升任務處理能力和速度。
  • 15、事件觸發：除了"Cron方式"和"任務依賴方式"觸發任務執行之外，支持基於事件的觸發任務方式。調度中心提供觸發任務單次執行的API服務，可根據業務事件靈活觸發。
  • 16、任務進度監控：支持實時監控任務進度；
  • 17、Rolling實時日誌：支持在線查看調度結果，並且支持以Rolling方式實時查看執行器輸出的完整的執行日誌；
  • 18、GLUE：提供Web IDE，支持在線開發任務邏輯代碼，動態發布，實時編譯生效，省略部署上線的過程。支持30個版本的歷史版本回溯。
  • 19、腳本任務：支持以GLUE模式開發和運行腳本任務，包括Shell、Python、NodeJS、PHP、PowerShell等類型腳本;
  • 20、任務依賴：支持配置子任務依賴，當父任務執行結束且執行成功後將會主動觸發一次子任務的執行, 多個子任務用逗號分隔；
  • 21、一致性：「調度中心」通過DB鎖保證集羣分散式調度的一致性, 一次任務調度只會觸發一次執行；
  • 22、自定義任務參數：支持在線配置調度任務入參，即時生效；
  • 23、調度線程池：調度系統多線程觸發調度運行，確保調度精確執行，不被堵塞；
  • 24、數據加密：調度中心和執行器之間的通訊進行數據加密，提升調度信息安全性；
  • 25、郵件報警：任務失敗時支持郵件報警，支持配置多郵件地址羣發報警郵件；
  • 26、推送maven中央倉庫: 將會把最新穩定版推送到maven中央倉庫, 方便用戶接入和使用;
  • 27、運行報表：支持實時查看運行數據，如任務數量、調度次數、執行器數量等；以及調度報表，如調度日期分佈圖，調度成功分佈圖等；
  • 28、全非同步：任務調度流程全非同步化設計實現，如非同步調度、非同步運行、非同步回調等，有效對密集調度進行流量削峯，理論上支持任意時長任務的運行；
  • 29、跨平臺：原生提供通用HTTP任務Handler（Bean任務，"httpJobHandler"）；業務方只需要提供HTTP鏈接即可，不限制語言、平臺；
  • 30、國際化：調度中心支持國際化設置，提供中文、英文兩種可選語言，默認為中文；

文檔地址

  • 中文文檔

技術交流

  • 社區交流

推薦閱讀：

相關文章