最小二乘法

8 人赞了文章

以下内容来自刘建平Pinard-博客园的学习笔记，总结如下：

最小二乘法是用来做函数拟合或者求函数极值的方法。在机器学习，尤其是回归模型中，最常用的就是最小二乘回归求解模型参数。

1 最小二乘的原理与要解决的问题

最小二乘法是由勒让德在19世纪发现的，原理的一般形式很简单，发现的过程是非常艰难的。形式如下式：

观测值就是我们的多组样本，理论值就是我们的假设拟合函数。

目标函数也就是在机器学习中常说的损失函数.

我们的目标是得到使目标函数最小化时候的拟合函数的模型。

比如有m个只有一个特征的样本：

2 最小二乘法的代数法求解

3 最小二乘法的矩阵法解法

矩阵法比代数法要简洁，且矩阵运算可以取代循环，所以现在很多书和机器学习库都是用的矩阵法来做最小二乘法。这里用上面的多元线性回归例子来描述矩阵法解法。

4 最小二乘法的局限性和适用场景

从上面可以看出，最小二乘法适用简洁高效，比梯度下降这样的迭代演算法似乎方便很多，下面讨论最小二乘法的局限性。

首先，最小二乘法需要计算 的逆矩阵，有可能它的逆矩阵不存在，这样就没有办法直接用最小二乘法了，此时梯度下降法仍然可以使用。可以通过对样本数据进行整理，去掉冗余特征，让 的行列式不为0，然后继续使用最小二乘法。

第二，当样本特征 非常大的时候，计算 的逆矩阵是一个非常耗时的工作，甚至不可行。此时以梯度下降为代表的迭代法仍然可以使用。那这个n到底多大就不适合最小二乘法呢？如果你没有很多的分散式大数据计算资源，建议超过10000个特征就用迭代法吧。或者通过主成分分析降低特征的维度后再用最小二乘法。

第三，如果拟合函数不是线性的，这时无法使用最小二乘法，需要通过一些技巧转化为线性才能使用，此时梯度下降仍然可以用。

第四，讲一些特殊情况。当样本量 很少，小于特征数 的时候，这时拟合方程是欠定的，常用的优化方法都无法去拟合数据。当样本量 等于特征数 的时候，用方程组求解就可以了。当 大于 时，拟合方程是超定的，也就是我们常用与最小二乘法的场景了。

推荐阅读：

相关文章