PRML里有一节讲了回归问题的损失函数，用到了泛函和变分法，但是推导过于简略，这里补充一下详细过程。

首先平均损失为：

如果损失函数用均方误差，则为：

设

则根据变分法有当 取极值时，满足条件

然后做如下推导：

由于 里实际没有 这一项，故上式第二项为0，而：

代入上式得：

，因为 为任意可微函数，故有：

,做积分得：

而 代入得：

所以可以看到t的均值即为最优解。

推荐阅读：