OTB 可以用來衡量你的目標跟蹤演算法好壞，它包含一些 benchmark 結果，打好標記（即ground-truth.txt )的數據集，以及一個用來測試你的演算法的代碼庫。

數據集包括50幀的序列和100幀的序列，其中50幀序列的數據集是2013年提出來的，100幀的數據集是2015年提出來的，所以OTB50也叫OTB2013，OTB100也叫OTB2015，相關的數據集和測試代碼庫都可以在 http://cvlab.hanyang.ac.kr/tracker_benchmark/下載。

不同的數據集還標有不同的屬性，這些屬性可以代表目標跟蹤領域的常見難點。例如，IV（Illumination Variation）表示光照變化，SV（Scale Variation ）表示尺度變化，OCC（Occlusion ）表示遮擋，DEF（Deformation ）表示變形，MB（Motion Blur ）表示運動模糊，FM（Fast Motion）表示快速移動，IPR（In-Plane Rotation）表示平面內旋轉，OPR（Out-of-Plane Rotation）表示平面外旋轉，OV（Out-of-View ）表示離開視野，BC（Background Clutters ）表示相似的背景，LR（Low Resolution）表示低的解析度。

精確圖 precision plot

追蹤演算法估計的目標位置（bounding box）的中心點與人工標註（ground-truth）的目標的中心點，這兩者的距離小於給定閾值的視頻幀的百分比。不同的閾值，得到的百分比不一樣，因此可以獲得一條曲線。

該評估方法的缺點：無法反映目標物體大小與尺度的變化。

成功率圖 Success Plot

首先定義重合率得分（overlap score，OS），追蹤演算法得到的bounding box（記為a），與ground-truth給的box（記為b），重合率定義為：OS = |a∩b|/|a∪b|，|·|表示區域的像素數目。當某一幀的OS大於設定的閾值時，則該幀被視為成功的（Success），總的成功的幀占所有幀的百分比即為成功率（Success rate）。OS的取值範圍為0~1，因此可以繪製出一條曲線。

OPE

用ground-truth中目標的位置初始化第一幀，然後運行跟蹤演算法得到平均精度和成功率。這種方法被稱為one-pass evaluation (OPE)。

魯棒性評估（SRE，TRE）

通過從時間（temporally，從不同幀起始）和空間（spatially，不同的bounding box）上打亂，然後進行評估。可以分為：temporal robustness evaluation (TRE) 和 spatial robustness evaluation (SRE)。

在一個圖片/視頻序列中，每個跟蹤演算法從不同的幀作為起始進行追蹤（比如分別從第一幀開始進行跟蹤，從第十幀開始進行跟蹤，從第二十幀開始進行跟蹤等），初始化採用的bounding box即為對應幀標註的ground-truth。最後對這些結果取平均值，得到TRE score。

由於有些演算法對初始化時給定的bounding box比較敏感，而目前測評用的ground-truth都是人工標註的，因此可能會對某些跟蹤演算法產生影響。因此為了評估這些跟蹤演算法是否對初始化敏感，作者通過將ground-truth輕微的平移和尺度的擴大與縮小來產生bounding box。平移的大小為目標物體大小的10%，尺度變化範圍為ground-truth的80%到120%，每10%依次增加。最後取這些結果的平均值作為SRE score。

以上，就是OTB評估的幾個指標。

推薦閱讀：