什么是RKHS?

RKHS全称叫再生希尔伯特空间(Reproducing kernel Hilbert space). 首先希尔伯特空间是一个完备的内积空间（完备意味著里面的数列取极限是收敛的），在这个空间里有很多有用的性质，比如说这个空间的内积可以用来构造范数，所以该空间也是赋范空间。

如果在希尔伯特空间的基础上加上一个叫再生性(reproducing)的性质，那么这个空间就是再生希尔伯特空间空间。为什么要加个再生性上去呢？因为拥有再生性质的希尔伯特空间，可以证明他的再生核是唯一的，也就是说，只要找到一个再生性的核函数，那么一定对应则一个唯一的希尔伯特空间。如果没有再生性，那么这个核函数可能对应著多个不同的空间。

RKHS空间有3个重要的部分，第一个是（定义1），他是一个Dirac函数，如果这个函数是连续的那么希尔伯特空间就是再生希尔伯特空间，第二个重要的元素就是再生核，定义3给出了再生核要满足的条件，可以证明，如果一个希尔伯特空间是RKHS当且仅当再生核存在(定理1)。最后就是他的正定性，根据这些性质我们就能自己去构造想要的核函数，而Moore-Aronszajn定理告诉了我们构造的方法。

Definition 1(Evaluation functional) 设为函数的希尔伯特空间，该函数定义在X上，对于固定的, 映射 $displaystyle delta _{x} :H ightarrow R,delta _{x} :f ightarrow f( x)$ 称为点x的(Dirac) evaluation functional

$displaystyle delta _{x}$ 作用可以理解为将一个H中的函数的值固定为f(x)： $displaystyle delta _{x}( f) =f( x)$

Definition 2(Reproducing kernel Hilbert space, RKHS), 设为函数的希尔伯特空间，该函数定义在X上，如果 $displaystyle delta _{x}$ 是连续的则H为RKHS

Definition 3 reproducing kernel，让为定义在上的实数R函数的希尔伯特空间。若函数满足下面两个性质则称为的再生核

displaystyle forall xin mathcal{X} ,k( .,x) in mathcal{H}

(可以理解为是映射

displaystyle k( .,x) :mathcal{X}
ightarrow mathcal{H}

)2. $displaystyle forall xin mathcal{X} ,forall fin mathcal{H} ,langle f,k( .,x) angle _{mathcal{H}} =f( x)$

从而有 $k( x,y) =langle k( .,x) ,k( .,y) angle _{mathcal{H}}$

上面的定义，k(.,x)是X→R的函数 (这里每个x都对应一个不同k的函数), 第二点是再生性质，即两个泛函的内积恰好等于f(x),可以证明，对于空间H而言，满足这些条件的k一定是唯一的，也就是说，我们只要选择一个k，就一定对应著一个再生希尔伯特空间。

Proposition 1如果存在在再生核k，则它是唯一的证明：假设存在两个再生核 $displaystyle k_{1} ,k_{2}$ ，根据定义

$langle f,k_{1}( .,x) -k_{2}( .,x) angle _{mathcal{H}} =f( x) -f( x) =0,forall xin mathcal{X} ,forall fin mathcal{H}$

如果我们设 $displaystyle f=k_{1}( .,x) -k_{2}( .,x)$ ，于是 $displaystyle | k_{1}( .,x) -k_{2}( .,x) | ^{2} =0,forall xin mathcal{X}$ ,因此 $displaystyle k_{1} =k_{2}$

接来下我们证明再生希尔伯特空间当且仅当再生核存在。

Theorem 1设为定义在X上的函数的再生希尔伯特空间（如果 $delta _{x}$ 是连续的则H为RKHS）当且仅当存在再生核。

证明：若存在再生核，根据定义 $displaystyle langle f,k( .,x) angle _{mathcal{H}} =f( x)$ ,于是

$egin{aligned} |delta _{x} f| & =|f( x) |\ & =|langle f,k( .,x) angle _{mathcal{H}} |\ & leqslant | f| _{mathcal{H}} cdot | k( .,x) | _{mathcal{H}}\ & =| f| _{mathcal{H}} cdot langle k( .,x) ,k( .,x) angle ^{1/2}_{mathcal{H}}\ & =| f| _{mathcal{H}} cdot k( x,x)^{1/2} end{aligned}$

其中不等式来自于Cauchy-Schwarz不等式( $displaystyle |( x,y) |^{2} leqslant ( x,x) cdot ( y,y) Leftrightarrow |( x,y) |leqslant | x| cdot | y|$ )，于是函数 $displaystyle delta _{x}$ 有界，因此是连续线性泛函。这里需要Riesz representation theorem，该定理说明了，任意的映射都存在一个对应的内积: $displaystyle f( x) =langle x,y_{delta _{x}} angle _{mathcal{H}}$ ，于是，一定存在 $displaystyle f_{delta _{x}} in mathcal{H}$ 使得

$delta _{x}( f) =langle f,f_{delta _{x}} angle _{mathcal{H}} ,forall fin mathcal{H}$

又因为根据 $displaystyle delta _{x}$ 的定义 $displaystyle delta _{x}( f) =f( x)$ ，于是只要令 $displaystyle k( .,x) =f_{delta _{x}}$ 就能构造出k使其满足再生核的性质，即 $displaystyle langle f,k( .,x) angle _{mathcal{H}} =delta _{x}( f) =f( x)$ 。

证毕。

Theorem 2 P113, Riesz representation theorem 设X是Hilbert空间，f是X上的线性连续泛函，则存在唯一的使得对任意有

证明：若f为零泛函时取y=0即可，因此只需证明时成立。

存在性：若f是X熵的非零线性连续泛函，则是X的闭真子空间，故存在由投影定理可知存在 $displaystyle u_{0} in M$ 以及M正交的 $displaystyle zin M^{ot }$ ，,使得 $displaystyle z=u-u_{0}$ 因而 $displaystyle zin M^{ot }$ 且.

由于 $displaystyle Mcap M^{ot } ={0}$ ,因此. 对于任意的显然 $displaystyle fleft( x-frac{f( x)}{f( z)} z ight) =0$ 因此， $displaystyle x-frac{f( x)}{f( z)} zin M$ 于是

$langle x-frac{f( x)}{f( z)} z,z angle =0\ Longrightarrow langle x,z angle -frac{f( x)}{f( z)} langle z,z angle =0$

因此

$f( x) =frac{f( z)}{| z| ^{2}} langle x,z angle =langle x,frac{overline{f( z)}}{| z| ^{2}} z angle$

令 $displaystyle y=frac{overline{f( z)}}{| z| ^{2}} z$ ，则对任意的都有

唯一性：假设存在使得，同时又因为所以

$egin{aligned} & f( y-y) =langle y-y,y angle =langle y-y,y angle \ Longrightarrow & | y| ^{2} -2langle y,y angle +| y| ^{2} =0\ Longrightarrow & | y-y| ^{2} =0 end{aligned}$

因此,所以是唯一的，并且因为 $displaystyle y=frac{overline{f( z)}}{| z| ^{2}} z$ ,所以 $displaystyle | y| =frac{overline{f( z)}}{| z| ^{2}} | z| =| f|$ .

证毕。

这个定理告诉我们，在希尔伯特空间中，对于任意的f(x),总能找到一个唯一的内积跟它相等，注意这个结论在一般的内积空间不总是成立的。

接下来我们可以给出kernel的一般定义：

Definition 4(kernel) 令为非空集合，如果存在real Hilbert space H和映射使得

$k( x,y) =langle phi ( x) ,phi ( y) angle _{mathcal{H}} ,forall x,yin mathcal{H}$

则函数称为kernel

在这里就是一个feature map特征映射，将X映射到希尔伯特空间H。注意这个定义并没有要求满足再生核的性质，所以这就会出问题，我们发现这个kernel并不是唯一表示一个希尔伯特空间，也就是同一个kernel函数有可能对应多个不同的希尔伯特空间：

例子:我们可以构造两个不同的使得其内积相等。

$k( x,y) =xy=egin{bmatrix} frac{x}{sqrt{2}} & frac{x}{sqrt{2}} end{bmatrix}egin{bmatrix} frac{y}{sqrt{2}}\ frac{y}{sqrt{2}} end{bmatrix}$

显然第一个,第二个 $displaystyle k( .,x) =egin{bmatrix} frac{x}{sqrt{2}} & frac{x}{sqrt{2}} end{bmatrix}$ ,他们分别属于空间： $displaystyle mathcal{H} =R,mathcal{H} =R^{2}$ 但是，如果满足再生核性质，那么可以证明kernel一定是唯一对应一个RKHS空间的。

最后我们来证明这个核函数的最重要的特征，就是其正定性。Definition 5(Positive definite functions) 称一个对称函数为正定的，只要满足 $displaystyle forall ngeqslant 1,forall ( a_{1} ,...,a_{n}) in R^{n} ,forall ( x_{1} ,...,x_{n}) in mathcal{X}^{n}$

$sum ^{n}_{i=1}sum ^{n}_{j=1} a_{i} a_{j} h( x_{i} ,x_{j}) geqslant 0$

称函数是严格正定(strictly positive definite)的，如果对于所有不同的 $displaystyle x_{i}$ ,等号只有在所有 $displaystyle a_{i}$ 等于0的时候才成立。

根据上面的定义，很容易证明就能证明核函数

是正定的:

$egin{aligned} sum ^{n}_{i=1}sum ^{n}_{j=1} a_{i} a_{j} k( x_{i} ,x_{j}) & =sum ^{n}_{i=1}sum ^{n}_{j=1} langle a_{i} k( cdot ,x_{i}) ,a_{j} k( cdot ,x_{j}) angle _{mathcal{H}}\ & =langle sum ^{n}_{i=1} a_{i} k( cdot ,x_{i}) ,sum ^{n}_{j=1} a_{j} k( cdot ,x_{j}) angle _{mathcal{H}}\ & =| sum ^{n}_{i=1} a_{i} k( cdot ,x_{i}) | ^{2}_{mathcal{H}} geqslant 0 end{aligned}$

介绍了上面这么多属性，我们终于可以开始自己构造一个再生希尔伯特空间了。为了得到一个RKHS我们会先构造一个pre-RKHS: $displaystyle mathcal{H}_{0}$ ,然后再从pre-RKHS构造出真正的RKHS. pre-RKHS 要满足的两个条件：

1. $displaystyle delta _{x}$ 在 $displaystyle mathcal{H}_{0}$ 是连续的

所有 $displaystyle mathcal{H}_{0}$ 中收敛到0的柯西列 $displaystyle f_{n}$ 同时在范数中收敛到0，即 $displaystyle f_{n} ightarrow 0Longrightarrow | f_{n} | _{mathcal{H}_{0}} ightarrow 0$

Theorem 3 (Moore-Aronszajn定理) 设是正定的，一定存在一个唯一的RKHS $displaystyle mathcal{H} subset R^{mathcal{X}}$ 其再生核为k。此外，如果空间 $displaystyle mathcal{H}_{0} =span[{k( cdot ,x)}_{xin mathcal{X}}]$ 赋予其这样的内积:

$langle f,g angle _{mathcal{H}_{0}} =sum ^{n}_{i=1}sum ^{m}_{j=1} alpha _{i} eta _{j} k( x_{i} ,x_{j})$

其中 $displaystyle f=sum ^{n}_{i=1} alpha _{i} k( cdot ,x_{i}) ,g=sum ^{n}_{j=1} eta _{j} k( cdot ,x_{j})$ ,则 $displaystyle mathcal{H}_{0}$ 是一个有效的RKHS.*

证明：首先证明上述内积是合法的内积

$langle f,k( cdotp ,x) angle _{mathcal{H}_{0}} =sum ^{n}_{i=1} alpha _{i} k( x,x_{i}) =f( x)$

因此

$egin{aligned} |delta _{x}( f) -delta _{x}( g) | & =|f( x) -g( x) |\ & =|langle f,k( cdotp ,x) angle _{mathcal{H}_{0}} -langle g,k( cdotp ,x) angle _{mathcal{H}_{0}} |\ & =|langle f-g,k( cdotp ,x) angle _{mathcal{H}_{0}} |\ & leqslant | f-g| | k( cdotp ,x) | \ & =| f-g| k^{1/2}( x,x) end{aligned}$

不等于号来自与cauchy-schwarz不等式()，从该不等式我们可以得出 $displaystyle delta _{x}$ 是有界的，因此是连续的，满足了pre-RKHS的第一个条件。

对于任意的,现定义柯西列 $displaystyle {f_{n}}$ 是收敛到0的。因此 $displaystyle {f_{n}}$ 是有界的，所以定义一个A使得 $displaystyle | f_{n} | _{mathcal{H}_{0}} < A,forall nin N$ . 于是总能找到一个 $displaystyle N_{1} in N,s.t. | f_{n} -f_{m} | _{mathcal{H}_{0}} < epsilon /2A, n,mgeqslant N_{1}$ .记 $displaystyle f_{N_{1}} =sum ^{r}_{i=1} alpha _{i} k( cdot ,x_{i})$ . 另外，存在 $displaystyle N_{2} in N,s.t. ngeqslant N_{2} ,|f_{n}( x_{i}) |< frac{epsilon }{2r|alpha _{i} |}$ 对于成立。现在考虑 $displaystyle ngeqslant max( N_{1} ,N_{2})$

$egin{aligned} | f_{n} | ^{2}_{mathcal{H}_{0}} & =|langle f_{n} -f_{N_{1}} ,f_{n} angle _{mathcal{H}_{0}} +langle f_{N_{1}} ,f_{n} angle _{mathcal{H}_{0}} |\ & leqslant |langle f_{n} -f_{N_{1}} ,f_{n} angle _{mathcal{H}_{0}} |+|langle f_{N_{1}} ,f_{n} angle _{mathcal{H}_{0}} |\ & leqslant | f_{n} -f_{N_{1}} | | f_{n} | +sum ^{r}_{i=1} |alpha _{i} f_{n}( x_{i}) |\ & < frac{epsilon }{2A} A+rfrac{epsilon }{2r|alpha _{i} |} =epsilon end{aligned}$

因此 $displaystyle | f_{n} | _{mathcal{H}_{0}} ightarrow 0$ .

最后我们证明

上的reproducing kernel是k. 我们可以简单设

,在 $displaystyle mathcal{H}_{0}$ 的柯西列 $displaystyle f_{n}$ point wise收敛于f于是:

$egin{aligned} langle f,k( cdot ,x) angle _{mathcal{H}} & =lim _{n ightarrow infty } langle f_{n} ,k( cdot ,x) angle _{mathcal{H}_{0}}\ & =lim _{n ightarrow infty } f_{n}( x)\ & =f( x) end{aligned}$