这种情况下,如果你不选择一个单一评估指标,就很难显而易见地指出哪个分类器更好,于是你就需要花费更多的时间搞定它。而问题在于,每一次迭代都需要损失一些时间,积累到最后就非常可观了。因为你会尝试很多不同的想法,调整架构、参数、特征等等,如果你用的是一个单值评估指标(比如准确率或者 f1-值),你就能把你所有的模型按照他们的性能排序,快速决定哪个最好。另外,还有一个方法可以改善评估的过程,就是把多个指标合并成一个,比如给多个错误度量求平均。
当然,有一些机器学习问题需要满足不止一个指标,比如要考虑运行时间。吴恩达这样说:你应该定义一个「可接受」的运行时间,从而快速排除那些太慢的演算法,然后用你的单值评估指标比较那些符合条件的演算法。