有些天氣不是我們想這麼報，也不是數值模式說應該這麼報，是領導（尤其是外行領導）要求我們這麼報

比如數值模式預報明天是中雨，我們預報員分析訂正後也認為是中雨，但領導說汛期了，要重視，要把量級調大，於是我們對外只好報了大雨甚至暴雨。而實際上，過幾天來反查實況，實況就是只下了個中雨

大部分民眾，和絕大部分領導，根本分不清暴雨和短時強降水。如果是10分鐘內下了20mm的雨，從觀感上確實是傾盆大雨，所以他們就會打電話罵我們，說都下暴雨了你們怎麼什麼事情都不做，預警也不發。而實際上，可能那一天也就下了這麼10分鐘的雨，以24小時標準論，就是個中雨

空報率與漏報率是氣象行業中常用來評估預報模型性能的指標。評估指標的不同實質上反映了任務需求的不同，因此不同的指標在對同一預報模型進行評估時將會得到不同的結果。這就意味著預報模型的『好壞』往往是相對的，好的模型不僅取決於數據和演算法本身，還取決於是否契合實際問題需要。那麼何時使用空報率，又何時使用漏報率呢？本篇將通過混淆矩陣逐步帶大家了解精準度、查准率等多種評估指標，以此深入認識空報率與漏報率的含義，並提供場景實例讓讀者體會評估指標如何反映實際任務需求。（文末順帶提供混淆矩陣的python可視化代碼方便大家使用。）

一、混淆矩陣

混淆矩陣也稱誤差矩陣，經常被用來對分類問題進行誤差分析。為便於理解，我們以二分類預報——晴雨預報為例，將其所有可能出現的預報情形與實況結果兩兩進行交叉組合，得到如下四個基礎項。

混淆矩陣的四個基礎項

真正例（True Positive）：預報有雨 實況有雨
真反例（True Negative）：預報無雨 實況無雨
假正例（False Positive)：預報有雨 實況無雨（納偽，第二類錯誤）
假反例（False Negative）：預報無雨 實況有雨（棄真，第一類錯誤）

將上述各項的計數以矩陣的方式呈現（其實就是一張表格啦），就得到了該預報模型的混淆矩陣。矩陣中的每一列代表預測類別，每列的數值和代表預報該類別的總次數；而每一行代表實況觀測的類別，每行的數值和代表了該類別實況中出現的總次數。

晴雨預報的混淆矩陣

直觀可見，當混淆矩陣對角線數值越大時，模型總體性能越好。將其定量化，將矩陣中TP與TN的代數和除以矩陣所有元素的代數和稱之為精準率（Accuracy）。

將FN與FP的代數和除以矩陣所有元素的代數和稱之為錯誤率（Error Rate)。

二、細分評價指標

從定義式可知，精準率和錯誤率的大小受到多個變數的約束，難以精準契合實際問題需要，需要引入細分指標。

1.查准率與空報率

查准率又可稱為擊中率、準確率(Precision，為了方便記憶可記英文，以免與精準率混淆)，其定義為真正例在預報正例中所在的佔比。查准率是相對預報而言的，數值越大表示正例出現的可能性越大，預報可信度越高。（文末降水查准率為259/(259+235)=0.524）

空報率與查准率有關聯，被定義為假正例在所有預報正例中所在的佔比，數值越大表示狼來了的可能性越大，由定義可知，空報率=1-擊中率。

2.查全率與漏報率

查全率又可稱為召回率(recall)，其定義為真正例在所有實況為正例中的所在佔比。查全率是相對實況而言的，數值越大表示越疏而不漏，出現漏網之魚的可能性越小。（文末降水查全率為259/(259+242)=0.517）

漏報率與查全率有關聯，被定義為假反例在所有實況為正例中的所在佔比，可推知，漏報率=1-查全率。

三、場景實例

查准率和查全率針對同一個模型時往往是一對矛盾的評價指標。查准率高時，查全率往往偏低；而查全率高時，查准率往往偏低。可以想像，在晴雨預報中為了使得查全率偏高，可以通過增加預報有雨的次數來實現，極端的，預報未來每天都有雨，查全率為100%，但空報率極高，查准率極低；而為了使查准率偏高，可以通過只預報有把握的降水，諸如信號明顯的系統性大雨過程，這麼做勢必會減少預報次數，極端的，當只預報了一次降水且正確時，查准率為100%，但查全率則極低，許多小雨和中雨過程都漏報了。

那麼如何運用查准率和查全率綜合評價預報模型的性能，從而在多個模型中選擇相對較優的呢？請關注本渣渣的同名微信公眾號（搜索 氣象學渣 或者 qixiangxuezha），等待下回分解哦。

參加工作以前：這報的什麼玩意兒，根本不準

參加工作以後：這玩意兒我報還是不報，我也拿不準啊。完蛋，要被說成什麼玩意兒了

總體來說，就是知道難點及痛點，也能大概看出同行同事們的預報想法和思路。

看得更理性，更客觀。氣象工作者最能理解天氣的不確定性。他們可以接觸到不確定性的問題，知道最好、最壞的結果。而一般公眾預報只看的是確定性結論，無法理解其中的不確定性問題

要做天氣預報需要很多個流程，不是你們在電視上看見的所謂的專家在電視上說幾句內行聽起來白痴的話，就是天氣預報製作過程了。天氣預報製作需要大量的資源，首先在資料收集上，雖然都是自動化，但是有些資料自動化會出錯，然後收集到的資料要上傳給區域或者國家中心單位，中心單位對資料進行進一步清洗整理，帶入計算機模型模擬，給出初步預報結果，然後再將初步預報結果分發到不同部門進行進一步加工處理，比如人工或客觀的誤差訂正，將結果送給對外發布部門，再通過播音員或者手機將最終預報結果發布給公眾。每個人在天氣預報中都只是一個小小的環節，天氣預報的質量好壞牽扯到很多的流程，有時候預報出問題是很正常的，因為在氣象局搞預報往往是操著賣白粉的心，拿著賣白菜的錢。你要覺得不可能，請讓你家孩子學氣象

推薦閱讀：
相关文章