AI時代的全鏈路監控，阿里工程師怎麼做？

阿里妹導讀：全鏈路監控從業務的視角出發，監控整個業務流程的健康狀況，無需多個系統切換，直觀看到全局和上下游，方便快速發現、定位問題。今天，我們一起來看看阿里基礎設施技術團隊在這方面的實踐經驗。

背景

近年來，隨著阿里新業務、新技術的快速發展，傳統的業務總量「監控大盤」已經越來越不能滿足監控需求，主要表現在以下幾個方面：

缺乏全局視角：「監控大盤」主要反映的是單個業務或應用的運行狀態，缺少全局的業務視角能反應整個「業務域」的上下游整體的運行情況。比如交易系統成功率下跌，想看看是不是優惠出問題了，但是不知道「優惠」的業務監控在哪裡，只能依賴"優惠"的同學去排查，釘釘電話溝通，大家一起拼湊信息，上下游協調成本很高。

監控標準不統一：一直以來「業務監控」都是自定義的，依賴開發人員的個人經驗，往往系統、業務監控混在一起，沒有標準，業務之間不能比較；各系統監控能力參差不齊，很容易出現業務鏈路中的監控斷層；業務監控缺少一套行之有效的方法論，新人或者新業務對於業務要怎麼監控，不知道如何下手、不知道自己配的監控是否覆蓋全面，只有等到故障發生以後纔去補監控。

缺少業務視角：隨著阿里業務飛速發展，特別是「大中臺」的建設，使得傳統的「總量」監控已經不能滿足需求，比如一個「交易」中臺業務就會有數十個「業務方」調用，單純的總量監控會把小調用量的業務淹沒，必須按每個業務方的「業務身份」進行監控。對於像「盒馬」、「淘鮮達」這樣的新零售業務，這樣的問題更加突出，一家門店出現交易異常對於「交易總量」來說是微不足道的，但是對這件門店的客戶體驗來說是災難性的。

監控配置成本高：「業務監控」一直都是由「開發人員」純手工打造，需要經過日誌埋點、監控配置、報警閾值設置，整個過程費時費力，缺乏自動化、智能化監控的手段，這也是造成各系統監控能力參差不齊的重要原因，一些新業務因為無力投入大量精力配置監控，導致業務監控能力缺失。

全景式監控

業務全鏈路監控從業務的視角出發，監控整個業務流程的健康狀況，無需多個系統切換，直觀看到全局和上下游，方便快速發現、定位問題。

建立了完整的「業務監控模型」，為業務建立起一個從「宏觀」到「微觀」的全景式業務監控體系，結束了業務監控沒有標準，只能純手工打造的歷史。業務監控模型主要包括3部分：

業務域：一個完整的業務或產品稱為「業務域」，如電商的「交易域」、「營銷域」、「支付域」等。
業務活動：業務域中的的核心業務用例叫做「業務活動」，如交易域的「下單確認」、「創建訂單」等，業務活動是整個監控模型的核心，每個業務活動都會有標準的【黃金指標】來反應自身的健康狀況，業務活動之間建立上下游關係就形成了業務鏈路。
系統服務：業務活動中的依賴的關鍵方法稱作「系統服務」，如「下單確認」包含：查詢會員、查詢商品、查詢優惠等關鍵方法，每個系統服務也通過【黃金指標】來表示其健康狀況。

監控流程

以「監控模型」為基礎，我們總結出了一套如何做好「業務監控」的方法論，並將其沉澱到產品中。

梳理關鍵業務：業務方需要梳理出自己的核心業務是什麼（業務活動），以及這些核心業務的關鍵依賴有哪些（系統服務）。
監控數據埋點：提供了無侵入的配置化監控SDK，只要將「業務活動」和「系統服務」對應的方法填寫到配置文件中即可，系統會自動收集，計算，上報監控數據。
監控鏈路：系統根據收集的數據自動生成業務鏈路，每個「業務活動」和「系統服務」節點都自動生成流量、耗時、成功率的黃金指標，同時每個『節點』都可以通過鑽取查看詳細的監控數據，包括：不同機房、單元、分組的數據對比，每個業務身份的明細調用情況等。
異常檢測：業務鏈路涉及節點眾多，必須要有完善的異常檢測機制來幫助用戶自動發現問題，我們提供了「智能基線預警」和「專家規則預警」相結合的異常檢測機制，無需用戶逐個配置報警規則，自動發現異常節點，實時將這些節點「標紅」，異常的詳細信息也會同步顯示，方便用戶快速發現和定位問題。

通過業務全鏈路監控，可以做到對業務域的監控標準化和全覆蓋，避免了自定義監控覆蓋不全面、不標準、配置工作量大的問題，使得老闆、PD、運營、監控值班等用戶都可以快速瞭解業務是否有問題。