神经正切核理论

​ 本文来自于《Theory of Deep Learning》，主要是对神经正切核(NTK)理论进行介绍。这里主要是补充了一些基本概念以及部分推导过程。作为软件工程出身，数学不是特别好，有些基础知识和推导步骤没办法一次补足。若有机会，后续会逐步补全缺失的部分。

一、基础知识

1. Hoeffding不等式

​ 设$X_1,\dots ,X_n$为$n$个独立的随机变量，且$X_i$的边界为$[a_i,b_i]$。令$\bar{X}=\frac{1}{n}{\sum }_{i=1}^n{X}_i$，则有
$$P(|\bar{X}-E(\bar{X})|\ge t)\le \exp (-\frac{2n^2{t}^2}{{\sum }_{i=1}^n(b_i-a_i{)}^2})$$

2. Boole不等式

​ 令$A_i$表达第$i$个随机事件，那么有
$$P\left({\cup }_i{A}_i\right)\le \sum _{i}P(A_i)$$
即至少一个事件发生的概率不大于单独事件发生概率之和。

3. 核函数与核回归

​ 核函数。 设$\mathcal{X}$是输入空间，$\mathcal{H}$是特征空间，若存在一个从$\mathcal{X}$至$\mathcal{H}$的映射

$$\varphi (\text{x}):\mathcal{X}\to \mathcal{H}$$
使得对所有的$\text{x},\text{z}\in \mathcal{X}$，函数$k(\text{x},\text{z})$均满足
$$k(\text{x},\text{z})=⟨\varphi (\text{x}),\varphi (\text{z})⟩$$
则称$k(\text{x},\text{z})$是核函数，$\varphi (\text{x})$是映射函数，$⟨\varphi (\text{x}),\varphi (\text{z})⟩$表示$\varphi (\text{x})$和$\varphi (\text{z})$的内积。核函数的作用是特征映射后求内积，但是不一定需要显示进行映射。

​ 高斯核是一种常见的核函数，定义为
$$k(\text{x},\text{z})=\exp (-\gamma \parallel \text{x}-\text{z}{\parallel }^2)$$
其可以将特征映射至无穷维，因此
$$\begin{array}{rl}\exp (-\parallel \text{x}-\text{z}{\parallel }^2)& =\exp (-{\text{x}}^{\top }\text{x}-{\text{z}}^{\top }\text{z}+2{\text{x}}^{\top }\text{z})\\ & =\exp (-{\text{x}}^{\top }\text{x})\exp ({\text{z}}^{\top }\text{z})\exp (2{\text{x}}^{\top }\text{z})\\ & =\exp (-{\text{x}}^{\top }\text{x})\exp ({\text{z}}^{\top }\text{z})\left(\sum _{k=0}^{\infty }\frac{(2{\text{x}}^{\top }\text{z}{)}^k}{k!}\right)\\ & =\sum _{k=0}^{\infty }[\exp (-{\text{x}}^{\top }\text{x})\exp (-{\text{z}}^{\top }\text{z})\sqrt{\frac{2^k}{k!}}\sqrt{\frac{2^k}{k!}}({\text{x}}^k{)}^{\top }({\text{z}}^k)]\\ & =\varphi (\text{x}{)}^{\top }\varphi (\text{z})\end{array}$$
（上式第三等号使用了Taylor展开$\exp (2{\text{x}}^{\top }\text{z})={\sum }_0^{\infty }\frac{(2{\text{x}}^{\top }\text{z}{)}^k}{k!}$）

基于上式可以得到高斯核的映射函数为
$$\varphi (\text{x})=\exp (-{\text{x}}^{\top }\text{x})(1,\sqrt{\frac{2^1}{1!}}{\text{x}}^1,\sqrt{\frac{2^2}{2!}}{\text{x}}^2,\dots ,\sqrt{\frac{2^k}{k!}}{\text{x}}^k,\dots )$$

​ 核回归。核回归是经典的非线性回归算法。给定训练集$(\text{X},\text{y})=\{({\text{x}}_i,y_i){\}}_{i=1}^n$，其中${\text{x}}_i$是输入数据，$y_i=f({\text{x}}_i)$是对应的标量标签，核回归的目标是构建一个估计函数
$$\hat{f}(\text{x})=\sum _{i=1}^n({\text{K}}^{-1}\text{y}{)}_{i}k({\text{x}}_i,\text{x})$$
其中$\text{K}$是$n\times n$的核矩阵，该矩阵的每个分量为${\text{K}}_{ij}=k({\text{x}}_i,{\text{x}}_j)$，$k$是对称半正定核函数。

​ 直觉上，核回归对于任意数据点$\text{x}$的估计值可以看做是训练数据${\text{x}}_i$与$\text{x}$的相似性作为权重，然后对训练标签$y_i$进行加权求和。

二、预测的演化方程

​ 设神经网络的输出表示为$f(w,x)\in \mathbb{R}$，其中$w\in {\mathbb{R}}^N$是网络中的所有参数，$x\in {\mathbb{R}}^d$是输入。给定训练数据$\{(x_i,y_i){\}}_{i=1}^n\subset {\mathbb{R}}^d\times \mathbb{R}$，通过最小化训练数据上的均方误差来训练神经网络：
$$\begin{gathered} l(w)=\frac{1}{2}\sum _{i=1}^n(f(w,x_i)-y_i{)}^2 \\ \text{\hspace{1em}(1)} \end{gathered}$$
这里主要研究梯度流(gradient flow)，也就是极小学习率的梯度下降。在上面的例子中，预测的动力学可以描述为常微分方程：
$$\begin{gathered} \frac{dw(t)}{dt}=-\nabla l(w(t)) \\ \text{\hspace{1em}(2)} \end{gathered}$$

引理1

令$u(t)=(f(w(t),x_i){)}_{i\in [n]}\in {\mathbb{R}}^n$表示神经网络在时刻$t$的所有输出$x_i^{\prime }$，$y=(y_i{)}_{i\in [n]}$是标签。$u(t)$的演化遵循
$$\begin{gathered} \frac{du(t)}{dt}=-H(t)\cdot (u(t)-y) \\ \text{\hspace{1em}(3)} \end{gathered}$$
其中，$H(t)$是$n\times n$的半正定矩阵，其第$(i,j)$个元素是$⟨\frac{\partial f(w(t),x_i)}{\partial w},\frac{\partial f(w(t),x_j)}{\partial w}⟩$。

​ 证明。参数$w$的演化是基于下面的微分方程
$$\begin{gathered} \frac{dw(t)}{dt}=-\nabla l(w(t))=-\sum _{i=1}^n(f(w(t),x_i)-y_i)\frac{\partial f(w(t),x_i)}{\partial w} \\ \text{\hspace{1em}(4)} \end{gathered}$$
其中$t\ge 0$是连续的时间坐标。基于等式(4)，网络输出$f(w(t),x_i)$的演化可以写作
$$\begin{gathered} \begin{array}{rl}\frac{df(w(t),x_i)}{dt}& =⟨\frac{\partial f(w(t),x_i)}{\partial w(t)},\frac{\partial w(t)}{\partial t}⟩\\ & =⟨\frac{\partial f(w(t),x_i)}{\partial w(t)},-\sum _{j=1}^n(f(w(t),x_j)-y_j)\frac{\partial f(w(t),x_j)}{\partial w}⟩\\ & =-\sum _{j=1}^n(f(w(t),x_j),y_j)⟨\frac{\partial f(w(t),x_i)}{\partial w},\frac{\partial f(w(t),x_j)}{\partial w}⟩\end{array} \\ \text{\hspace{1em}(5)} \end{gathered}$$
因为$u(t)=(f(w(t),x_i){)}_{i\in [n]}\in {\mathbb{R}}^n$是神经网络$t$时刻在所有$x_i$上的输出，$y=(y_i{)}_{i\in [n]}$是标签。等式(5)可以紧凑的写作
$$\begin{gathered} \frac{du(t)}{dt}=-H(t)\cdot (u(t)-y) \\ \text{\hspace{1em}(6)} \end{gathered}$$
其中$H(t)\in {\mathbb{R}}^{n\times n}$是定义为$[H(t){]}_{i,j}=⟨\frac{\partial f(w(t),x_i)}{\partial w},\frac{\partial f(w(t),x_j)}{\partial w}⟩(\forall i,j\in [n])$。

​ 上面引理涉及到矩阵$H(t)$。下面将会定义一个无限宽的神经网络，并固定训练数据。在这种限制下，训练过程中的矩阵$H(t)$为常数，即$H(t)$的等于$H(0)$。此外，对于随机初始化参数，当网络宽度为无限时，随机矩阵$H(0)$概率收敛至某个确定的核矩阵$H^{\ast }$，该矩阵就是通过训练数据估计出的神经正切核(Neural Tangent Kernel, NTK) $k(\cdot ,\cdot )$。若对于所有$t$均有$H(t)=H^{\ast }$，那么等式(3)就变成
$$\begin{gathered} \frac{du(t)}{dt}=-H^{\ast }\cdot (u(t)-y) \\ \text{\hspace{1em}(7)} \end{gathered}$$
可以发现上述公式的动力学与梯度流下的核回归一致，那么当$t\to \infty$时最终的预测函数为
$$\begin{gathered} f^{\ast }(x)=(k(x,x_1),\dots ,k(x,x_n))\cdot (H^{\ast }{)}^{-1}y \\ \text{\hspace{1em}(8)} \end{gathered}$$

三、无限宽网络与神经正切核(NTK)

​ 下面是一个简单的两层神经网络
$$\begin{gathered} f(a,W,x)=\frac{1}{\sqrt{m}}\sum _{r=1}^m{a}_r\sigma (w_r^{T}x) \\ \text{\hspace{1em}(9)} \end{gathered}$$
其中$m$是网络的宽度，$\sigma (\cdot )$是激活函数。这里假设对于所有的$z\in \mathbb{R}$，$|{\sigma }^{\prime }(z)|$和$|{\sigma }^{\prime \prime }(z)|$的上界均为1，例如$\sigma (z)=\log (1+\exp (z))$就满足这个假设。假设所有的输入$x$的Euclidean范数均为1，即$\parallel x{\parallel }_2=1$。缩放因子$\frac{1}{\sqrt{m}}$在证明$H(t)$接近于固定核$H^{\ast }$上扮演者重要的角色。使用范式$\parallel \cdot {\parallel }_2$来衡量两个矩阵$A$和$B$的接近程度。

​ 先计算$H(0)$，并展示$m\to \infty$时$H(0)$收敛至固定矩阵$H^{\ast }$。 注意，$\frac{\partial f(a,W,x_i)}{\partial w_r}=\frac{1}{\sqrt{m}}{a}_r{x}_i{\sigma }^{\prime }(w_r^{\top }{x}_i)$。因此，$H(0)$中的每个元素为
$$\begin{gathered} \begin{array}{rl}[H(0){]}_{ij}& =\sum _{r=1}^m⟨\frac{\partial f(a,W(0),x_i)}{\partial w_r(0)},\frac{\partial f(a,W(0),x_j)}{\partial w_r(0)}⟩\\ & =\sum _{r=1}^m⟨\frac{1}{\sqrt{m}}{a}_r{x}_i{\sigma }^{\prime }(w_r(0{)}^{\top }{x}_i),\frac{1}{\sqrt{m}}{a}_r{x}_j{\sigma }^{\prime }(w_r(0{)}^{\top }{x}_i)⟩\\ & =x_i^{\top }{x}_j\cdot \frac{{\sum }_{r=1}^m{\sigma }^{\prime }(w_r(0{)}^{\top }{x}_i){\sigma }^{\prime }(w_r(0{)}^{\top }{x}_j)}{m}\end{array} \\ \text{\hspace{1em}(8)} \end{gathered}$$
最后一步，由于ar∼Unif[{−1,1}]a_r\sim\text{Unif}[\{-1,1\}]ar​∼Unif[{−1,1}]，因此对于所有的$r=1,\dots ,m$，有$a_r^2=1$。对于所有的$w_r(0)$都是从标准高斯分布中独立同分布采样出来的。因此，可以将$[H(0){]}_{ij}$看做是m个独立同分布随机变量的平均值。若$m$很大，那么基于大数定律，这个平均值接近于随机变量的期望。在$x_i$和$x_j$上由NTK评估的期望为：
$$\begin{gathered} H_{ij}^{\ast }\triangleq x_i^{\top }{x}_j\cdot {\mathbb{E}}_{w\sim N(0,I)}[{\sigma }^{\prime }(w^{\top }{x}_i){\sigma }^{\prime }(w^T{x}_j)] \\ \text{\hspace{1em}(9)} \end{gathered}$$
基于Hoeffding不等式和Boole不等式，可以容易得知$H(0)$逼近于$H^{\ast }$。

引理2

​ 对于某个$ϵ>0$。若$m=\Omega (\frac{n^4\log (n/\delta )}{{ϵ}^2})$，那么$w_1(0),\dots ,w_m(0)$至少以概率$1-\delta$满足
$$\parallel H(0)-H^{\ast }{\parallel }_2\le ϵ$$
​ 证明。对于分量$(i,j)$，由于$|{\sigma }^{\prime }(z)|\le 1$且$\parallel x\parallel =1$，那么有
$$|x_i^{\top }{x}_j{\sigma }^{\prime }(w_t(0{)}^{\top }{x}_i){\sigma }^{\prime }(w_r(0{)}^{\top }{x}_j)|\le 1$$
因此，$[H(0){]}_{ij}$的边界为$[0,1]$。应用Hoeffding不等式，有
$$\begin{array}{rl}P(|[H(0){]}_{ij}-H_{ij}^{\ast }|\ge \frac{ϵ}{n^2})& \le \exp (-\frac{2m^2(\frac{ϵ}{n^2}{)}^2}{{\sum }_{i=1}^m(1-0{)}^2})\\ & =\exp (-\frac{2m{ϵ}^2}{n^4})\\ & \le \exp (-\frac{2{ϵ}^2}{n^4}\frac{n^4\log (n/\delta )}{{ϵ}^2})\\ & =\exp (-2\log (n/\delta ))\\ & =\frac{{\delta }^2}{n^2}\le \frac{\delta }{n^2}\end{array}$$
(注：$n$是训练样本数，$m$是网络宽度)

那么有
$$\begin{array}{rl}P(|[H(0){]}_{ij}-H_{ij}^{\ast }|\le \frac{ϵ}{n^2})& =1-P(|[H(0){]}_{ij}-H_{ij}^{\ast }|\ge \frac{ϵ}{n^2})\ge 1-\frac{\delta }{n^2}\end{array}$$
将上面的结论应用在所有$(i,j)\in [n]\times [n]$，并使用Boole不等式
$$\parallel H(0)-H^{\ast }{\parallel }_2\le \parallel H(0)-H^{\ast }{\parallel }_F\le \sum _{ij}|[H(0){]}_{ij}-H_{ij}^{\ast }|\le n^2\cdot \frac{ϵ}{n^2}=ϵ$$

接下来证明在训练过程中，$H(t)$逼近$H(0)$。

引理3

​ 假设对于所有的$i=1,\dots ,n$都有$y_i=O(1)$。给定$t>0$，对任意的$0\le \tau \le t$，所有的$i=1,\dots ,n$都有$u_i(\tau )=O(1)$。若$m=\Omega (\frac{n^6{t}^2}{{ϵ}^2})$，有
$$\parallel H(t)-H(0){\parallel }_2\le ϵ$$
(直观解释：若所有样本的标签值均不大于1，且0到$t$时刻中的任意时刻$\tau$，模型的预测值也不大于1。那么当网络宽度$m$大于$\frac{n^6{t}^2}{{ϵ}^2}$时，$t$时刻的NTK核逼近于初始的NTK核)。

​ 证明。第一个关键思想是：当$m$很大时，每个权重向量变化量很小。下面是单个权重向量的变化
$$\begin{array}{rl}\parallel w_r(t)-w_r(0){\parallel }_2& =\Vert {\int }_0^t\frac{d{w}_r(\tau )}{d\tau }d\tau {\Vert }_2\\ & =\Vert {\int }_0^t\sum _{i=1}^n(u_i(\tau )-y_i)\frac{\partial u_i(\tau )}{\partial w}d\tau {\Vert }_2\\ & =\Vert {\int }_0^t\sum _{i=1}^n(u_i(\tau )-y_i)\frac{1}{\sqrt{m}}{a}_r{x}_i{\sigma }^{\prime }(w_r(\tau {)}^{\top }{x}_i)d\tau {\Vert }_2\\ & \le \frac{1}{\sqrt{m}}\int \Vert \sum _{i=1}^n(u_i(\tau )-y_i)a_r{x}_i{\sigma }^{\prime }(w_r(\tau {)}^{\top }{x}_i){\Vert }_{2}d\tau \\ & \le \frac{1}{\sqrt{m}}\sum _{i=1}^n{\int }_0^t\Vert u_i(\tau )-y_i{a}_r{x}_i{\sigma }^{\prime }(w_r(\tau {)}^{\top }{x}_i){\Vert }_{2}d\tau \\ & \le \frac{1}{\sqrt{m}}\sum _{i=1}^n{\int }_0^{t}O(1)d\tau =O(\frac{tn}{\sqrt{m}})\end{array}$$
上面的结果表明：给定任意$t$，只要$m$足够大，则$w_r(t)$就接近于$w_r(0)$。下面将证明这意味着核矩阵$H(t)$接近于$H(0)$。这里证明单个分量的差距
$$\begin{array}{rl}& [H(t){]}_{ij}-[H(0){]}_{ij}\\ =& \left|\frac{1}{m}\sum _{r=1}^m\right({\sigma }^{\prime }(w_r(t{)}^{\top }{x}_i){\sigma }^{\prime }(w_r(t{)}^{\top }{x}_j)-{\sigma }^{\prime }(w_r(0{)}^{\top }{x}_i){\sigma }^{\prime }(w_r(0{)}^{\top }{x}_j)\left)\right|\\ \le & \frac{1}{m}\sum _{r=1}^m|{\sigma }^{\prime }(w_r(t{)}^{\top }{x}_i)({\sigma }^{\prime }(w_r(t{)}^{\top }{x}_j)-{\sigma }^{\prime }(w_r(0{)}^{\top }{x}_j))|\\ & +\frac{1}{m}\sum _{r=1}^m|{\sigma }^{\prime }(w_r(0{)}^{\top }{x}_j)({\sigma }^{\prime }(w_r(t{)}^{\top }{x}_j)-{\sigma }^{\prime }(w_r(0{)}^{\top }{x}_i))|\\ \le & \frac{1}{m}\sum _{r=1}^m|\underset{r}{\max }{\sigma }^{\prime }(w_r(t{)}^{\top }{x}_i)\Vert x_i{\Vert }_2\Vert w_r(t)-w_r(0){\Vert }_2|\\ & +\frac{1}{m}\sum _{r=1}^m|\underset{r}{\max }{\sigma }^{\prime }(w_r(t{)}^{\top }{x}_i)\Vert x_i{\Vert }_2\Vert w_r(t)-w_r(0){\Vert }_2|\\ =& \frac{1}{m}\sum _{r=1}^{m}O(\frac{tn}{\sqrt{m}})\end{array}$$
因此，有
$$\Vert H(t)-H(0){\Vert }_2\le \sum _{i,j}|[H(t){]}_{ij}-[H(0){]}_{ij}|=O\left(\frac{t{n}^3}{\sqrt{m}}\right)$$

四、用NTK解释无限宽网络的优化和泛化

​ 基于上面的结论有
$$\begin{gathered} \frac{du(t)}{d_t}\approx -H^{\ast }\cdot (u(t)-y) \\ \text{\hspace{1em}(10)} \end{gathered}$$
其中$H^{\ast }$是NTK矩阵。接下来基于该近似分析无限宽神经网络的优化和泛化。

1. 优化

​ $U(t)$的动力学遵循
$$\begin{gathered} \frac{du(t)}{d_t}=-H^{\ast }\cdot (u(t)-y) \\ \text{\hspace{1em}(11)} \end{gathered}$$
本质上是线性动力系统。对$H^{\ast }$进行特征值分解的
$$\begin{gathered} H^{\ast }=\sum _{i=1}^n{\lambda }_i{v}_i{v}_i^{\top } \\ \text{\hspace{1em}(12)} \end{gathered}$$
其中${\lambda }_1\ge \cdots \ge {\lambda }_n\ge 0$是特征值，$v_1,\dots ,v_n$是特征向量。基于该分解可以分别研究$u(t)$在每个特征向量上的动力学。对等式(12)两边同时乘以$v_i$得，得到$u(t)$在特征向量$v_i$上的动力学
$$\begin{gathered} \begin{array}{rl}\frac{d{v}_i^{\top }u(t)}{dt}& =-v_i^{\top }{H}^{\ast }\cdot (u(t)-y)\\ & =-v_i^{\top }\sum _{i=1}^n{\lambda }_i{v}_i{v}_i^{\top }\cdot (u(t)-y)\\ & =-{\lambda }_i(v_i^{\top }(u(t)-y))\end{array} \\ \text{\hspace{1em}(13)} \end{gathered}$$
可以看到$v_i^{\top }u(t)$的动力学仅依赖于其本身和${\lambda }_i$，这其实是一个常微分方程。该常微分方程的一个解析解为
$$\begin{gathered} v_i^{\top }(u(t)-y)=\exp (-{\lambda }_{i}t)(v_i^{\top }(u(0)-y)) \\ \text{\hspace{1em}(14)} \end{gathered}$$

现在使用上面的等式来解释为什么可以找到0训练误差解。假设对于所有的$i=1,\dots ,n$均有${\lambda }_i>0$，即核矩阵的所有特征值均严格为正。

​ $(u(t)-y)$表示$t$时刻预测值和训练标签之间的差值。若当$t\to \infty$，有$u(t)-y\to 0$时，表示存在一个训练误差为0的算法。等式(14)表示该差值的分量，由于项$\exp (-{\lambda }_{i}t)$，所以$v_i^{\top }(u(t)-y)$会以指数级的速度收敛至0。此外，由于{v1,…,vn}\{v_1,\dots,v_n\}{v1​,…,vn​}是${\mathbb{R}}^n$上的一个正交基，因此$(u(t)-y)={\sum }_{i=1}^n{v}_i^{\top }(u(t)-y)$。因此，当每个$v_i^{\top }(u_i(t)-y)\to 0$，可以得到$(u(t)-y)\to 0$。

​ 等式(14)本质上给出了关于收敛相关的信息，即每个分量$v_i^{\top }(u(t)-y)$以不同的速率收敛至0。较大的${\lambda }_i$对应的分量收敛到0的速度快于较小的${\lambda }_i$。若期望在给定标签下能够更快的收敛，那么$y$投影至顶部的特征应该更大。因此，可以通过下面直观的来定性比较收敛速度

• 若标签集合$y$对齐至顶部特征，即$(v_i^{\top }y)$对应较大的特征值，那么梯度下降收敛较快；
• 若标签集合$y$投影至特征向量$\{(v_i^{\top }y){\}}_{i=1}^n$是均匀分布，那么梯度下降的收敛速度就较慢；

2. 泛化

​ 等式(10)中的近似意味着无限宽神经网络最终预测的函数近似于等式(8)的核预测函数。因此，可以使用核的泛化理论来分析无限宽神经网络的泛化行为。等式(8)中定义的核预测函数，使用Rademacher复杂度边界来推断下面1-Lipschitz损失函数的泛化边界
$$\begin{gathered} \frac{\sqrt{2y^{\top }(H^{\ast }{)}^{-1}y\cdot tr(H^{\ast })}}{n} \\ \text{\hspace{1em}(15)} \end{gathered}$$
这是一个依赖于数据的复杂度度量的泛化误差上界。

五、多层全连接神经网络的NTK形式

​ 先来定义全连接神经网络。令$x\in {\mathbb{R}}^d$表示输入，为了方便令$g^{(0)}(x)=x$且$d_0=d$。那么$L$层全连接神经网络表示为
$$\begin{gathered} f^{(h)}(x)=W^{(h)}{g}^{(h-1)}(x)\in {\mathbb{R}}^{d_h},g^{(h)}(x)=\sqrt{\frac{c_{\sigma }}{d_h}}\sigma (f^{(h)}(x))\in {\mathbb{R}}^{d_h} \\ \text{\hspace{1em}(16)} \end{gathered}$$
其中$h=1,2,\dots ,L$，$W^{(h)}\in {\mathbb{R}}^{d_h\times d_{h-1}}$表示第$h$层的权重矩阵，$\sigma :\mathbb{R}\to \mathbb{R}$是激活函数，$c_{\sigma }=(E_{z\sim \mathcal{N}(0,1)}[\sigma z^2]{)}^{-1}$。神经网络的最后一层来自于
$$\begin{gathered} \begin{array}{rl}f(w,x)& =f^{(L+1)}(x)=W^{(L+1)}\cdot g^{(L)}(x)\\ & =W^{(L+1)}\cdot \sqrt{\frac{c_{\sigma }}{d_L}}\sigma W^{(L)}\cdot \sqrt{\frac{c_{\sigma }}{d_{L-1}}}\sigma W^{(L-1)}\cdots \cdot \sqrt{\frac{c_{\sigma }}{d_1}}\sigma W^{(1)}x\end{array} \\ \text{\hspace{1em}(17)} \end{gathered}$$
其中$W^{(L+1)}\in {\mathbb{R}}^{1\times d_L}$表示最后一层的权重，$w=(W^{(1)},\dots ,W^{(L+1)})$表示神经网络的所有权重。

​ 使用标准正态分布来初始化权重并考虑hidden宽度的极限为：$d_1,d_2,\dots ,d_L\to \infty$。缩放因子$\sqrt{c_{\sigma }/d_h}$用于确保$g^{(h)}(x)$近似于初始化。对于ReLU集合函数，有
$$\begin{gathered} E[\Vert g^{(h)}(x){\Vert }_2^2]=\Vert x{\Vert }_2^2(\forall h\in [L]) \\ \text{\hspace{1em}(18)} \end{gathered}$$
正如引理1中需要计算$⟨\frac{\partial f(w(t),x)}{\partial w},\frac{\partial f(w(t),x^{\prime })}{\partial w}⟩$在无限宽下收敛至随机初始化。可以将关于特定权重矩阵$W^{(h)}$的偏导数写作
$$\begin{gathered} \frac{\partial f(w,x)}{\partial W^{(h)}}=b^{(h)}(x)\cdot (g^{(h-1)}(x){)}^{\top },h=1,2,\dots ,L+1 \\ \text{\hspace{1em}(19)} \end{gathered}$$
其中
$$\begin{gathered} b^{(h)}(x)=\{\begin{array}{ll}1\in \mathbb{R},& h=L+1\\ \sqrt{\frac{c_{\sigma }}{d_h}}{D}^{(h)}(x)(W^{(h+1)}{)}^{\top }{b}^{(h+1)}(x)\in {\mathbb{R}}^{d_h},& h=1,\dots ,L\end{array} \\ \text{\hspace{1em}(20)} \end{gathered}$$

KaTeX parse error: Expected 'EOF', got '&' at position 93: …d_h\times d_h},&̲h=1,\dots,L \ta…

对于两个任意的输入$x$和$x^{\prime }$，任意的$h\in [L+1]$，可以计算
$$\begin{gathered} \begin{array}{rl}& ⟨\frac{\partial f(w,x)}{\partial W^{(h)}},\frac{\partial f(w,x^{\prime })}{\partial W^{(h)}}⟩\\ =& ⟨b^{(h)}(x)\cdot (g^{(h-1)}(x){)}^{\top },b^{(h)}(x^{\prime })\cdot (g^{(h-1)}(x^{\prime }){)}^{\top }⟩\\ =& ⟨g^{(h-1)}(x),g^{(h-1)}(x^{\prime })⟩\cdot ⟨b^{(h)}(x),b^{(h)}(x^{\prime })⟩\end{array} \\ \text{\hspace{1em}(22)} \end{gathered}$$
第一项$⟨g^{(h-1)}(x),g^{(h-1)}(x^{\prime })⟩$是$x$和$x^{\prime }$在第$h$层的协方差。当宽度趋于无穷时，$⟨g^{(h-1)}(x),g^{(h-1)}(x^{\prime })⟩$收敛至固定的数，这里表示为${\Sigma }^{(h-1)}(x,x^{\prime })$。对于$h\in [L]$，该协方差的递归形式为
$$\begin{gathered} \begin{array}{rl}{\Sigma }^{(0)}(x,x^{\prime })& =x^{\top }{x}^{\prime }\\ {\Lambda }^{(h)}(x,x^{\prime })& =\left(\begin{array}{cc}{\Sigma }^{(h-1)}(x,x)& {\Sigma }^{(h-1)}(x,x^{\prime })\\ {\Sigma }^{(h-1)}(x^{\prime },x)& {\Sigma }^{(h-1)}(x^{\prime },x^{\prime })\end{array}\right)\in {\mathbb{R}}^{2\times 2}\\ {\Sigma }^{(h)}(x,x^{\prime })& =c_{\sigma }{E}_{(u,v)\sim \mathcal{N}(0,{\Lambda }^{(h)})}[\sigma (u)\sigma (v)]\end{array} \\ \text{\hspace{1em}(23)} \end{gathered}$$