上面的推导来自:梯度下降(Gradient Descent),一句代码,一个式子我主要是没看明白图上如何用矩阵将上面的运算细节抽象的。


最近看吴恩达的机器学习视频正好也碰到这个问题,其实是比较简单的矩阵换算问题,不过首先还是得知道公式里各个参数的意义。这里引用下吴恩达视频里的例子:

这里的X是根据训练集的数据构建的一个 [公式] 矩阵,图中有一步没有说明就是 [公式]

后面就是矩阵换算了呀:由于 X 不一定是方阵,两边同时乘以X的转置,再对其取逆就是 [公式] 的最终表达式了。


这个是linear model里面著名的normal equation。

证明方法:网易公开课,吴恩达的斯坦福机器学习公开课cs229 第二节课后半段 有推导过程。


这里有个证明,希望有帮助

机器学习笔记03:Normal equation与梯度下降的比较


先利用最小二乘法写出J,再对J求驻点


我想先请问下你会算矩阵乘法么。
吴恩达教授的机器学习里第二课还是第三课有讲解,讲义里有详细的推导过程


推荐阅读:
相关文章