有些天氣不是我們想這麼報,也不是數值模式說應該這麼報,是領導(尤其是外行領導)要求我們這麼報
比如數值模式預報明天是中雨,我們預報員分析訂正後也認為是中雨,但領導說汛期了,要重視,要把量級調大,於是我們對外只好報了大雨甚至暴雨。而實際上,過幾天來反查實況,實況就是隻下了個中雨
大部分民眾,和絕大部分領導,根本分不清暴雨和短時強降水。如果是10分鐘內下了20mm的雨,從觀感上確實是傾盆大雨,所以他們就會打電話罵我們,說都下暴雨了你們怎麼什麼事情都不做,預警也不發。而實際上,可能那一天也就下了這麼10分鐘的雨,以24小時標準論,就是個中雨
空報率與漏報率是氣象行業中常用來評估預報模型性能的指標。評估指標的不同實質上反映了任務需求的不同,因此不同的指標在對同一預報模型進行評估時將會得到不同的結果。這就意味著預報模型的『好壞』往往是相對的,好的模型不僅取決於數據和演算法本身,還取決於是否契合實際問題需要。那麼何時使用空報率,又何時使用漏報率呢?本篇將通過混淆矩陣逐步帶大家瞭解精準度、查準率等多種評估指標,以此深入認識空報率與漏報率的含義,並提供場景實例讓讀者體會評估指標如何反映實際任務需求。(文末順帶提供混淆矩陣的python可視化代碼方便大家使用。)
一、混淆矩陣
混淆矩陣也稱誤差矩陣,經常被用來對分類問題進行誤差分析。為便於理解,我們以二分類預報——晴雨預報為例,將其所有可能出現的預報情形與實況結果兩兩進行交叉組合,得到如下四個基礎項。
混淆矩陣的四個基礎項
真正例(True Positive):預報有雨 實況有雨
真反例(True Negative):預報無雨 實況無雨
假正例(False Positive):預報有雨 實況無雨(納偽,第二類錯誤)
假反例(False Negative):預報無雨 實況有雨(棄真,第一類錯誤)
將上述各項的計數以矩陣的方式呈現(其實就是一張表格啦),就得到了該預報模型的混淆矩陣。矩陣中的每一列代表預測類別,每列的數值和代表預報該類別的總次數;而每一行代表實況觀測的類別,每行的數值和代表了該類別實況中出現的總次數。
晴雨預報的混淆矩陣