基于贝叶斯优化辅助采样的迁移学习用于高效模拟混合信号电路建模

刘巨正，莫森·哈桑普尔加迪，张巧初，苏世玉，陈硕威
电气与计算机工程系，南加州大学洛杉矶，加利福尼亚州，美国
juzhengl@usc.edu

摘要

传统的模拟混合信号（AMS）设计主要依赖于设计者知识，且由于SPICE仿真成本高昂，只能在狭窄的设计空间内进行探索。然而，基于神经网络（NN）的AMS电路模型因其较低的计算成本，有望实现对设计空间的快速探索。遗憾的是，为了构建具有足够精度的神经网络模型，需要训练数据集，这会在不同的设计阶段引入SPICE仿真。因此，在早期设计阶段（例如原理图设计）使用较大的数据集进行训练，而在后期设计阶段（例如版图后设计或迁移到更先进的工艺节点）则显著减少数据集规模是明智之举，因为在后期设计阶段仿真成本急剧上升。本文提出采用迁移学习（TL）结合贝叶斯优化辅助采样（BOAS）的方法，以减少后期设计阶段中神经网络模型所需的训练数据集规模。为验证该方法的有效性，我们展示了在版图后设计阶段的数模转换器（DAC）和在工艺迁移阶段的放大器分别可实现150倍和17倍的数据集缩减。

关键词 —电路回归模型, 神经网络, 迁移学习, 贝叶斯优化

一、引言

模拟混合信号（AMS）电路是大多数片上系统平台中的关键构建模块。与数字超大规模集成电路电路相比，AMS电路通常涉及更大的设计自由度和更宽的参数搜索范围，这使得自动化设计参数搜索更具挑战性。在使用各种方法实现模拟与混合信号（AMS）电路设计自动化
的研究领域已开展了大量工作，包括启发式与仿真[1], 几何规划[2], 基于库的设计[3, 4], 以及贝叶斯优化（BO）[5]。尽管每种方法都有其独特的优势，但仍存在一些挑战。例如，当使用某些基于方程的方法时，构建优化问题本身的复杂性高于基于人工经验的优化方法；贝叶斯优化（BO）受限于设计规格，难以推广到其他规格；而当使用基于库的方法时，由于每个模块中的模块数量有限，获得完全优化的电路模块较为困难，且构建一个充分的库需要大量的设计工作量。

随着先进机器学习算法和计算能力的不断发展，出现了通过机器学习回归模型（如神经网络（NN）[6, 17] 或支持向量回归（SVR）[7, 13]）来表示参数到指标（P2M）函数，从而精确表征输入设计参数与模拟混合信号（AMS）电路性能指标之间复杂关系的新机遇。因此，由于其相对较低的计算成本，目标是利用回归模型在广泛的目标规格范围内加速参数搜索过程。然而，缺点也很明显：回归模型的监督训练过程需要充足的训练样本，这要求在训练模型之前对设计空间进行穷举搜索。考虑到先进工艺节点的器件模型复杂性以及布局寄生参数提取（LPE）信息，采样过程可能非常耗时，显著增加了采样所需的工作量。

因此，本文提出了一种高效的基于神经网络的模拟混合信号（AMS）电路建模的采样与训练方法，旨在消除盲目采样的需求，并通过利用来自训练良好的神经网络模型的已有知识，大幅减少训练所需的样本数量。所提出的贝叶斯优化辅助采样（BOAS）方法能够正确选择采样区域，确保所有电路元件工作在期望条件下，并减少数据集中对回归模型有害的异常值数量。对于回归模型的监督训练过程，迁移学习（TL）将利用已有知识并减少所需训练样本。更具体而言，迁移学习要求在某一工艺和PVT角下的早期设计阶段，已有一个表示特定电路P2M函数的训练良好的神经网络模型（本文中称为“源域”）。通过在该训练良好的神经网络上增加两个增强层，可高效地将知识迁移到后期设计阶段——即新工艺节点或后布局域（本文中称为“目标域”），且仅需极少的训练样本。

从实际角度来看，迁移学习（TL）在工艺移植或涉及布局寄生效应（LPE）的建模过程中可能极为有用。得益于快速仿真器的最新发展以及BOAS的有效性，基于相对简单的工艺节点下的原理图级仿真生成大规模且高质量的数据集，并为早期设计阶段获得训练良好的模型成为可能。利用该现有模型，通过应用迁移学习（TL），我们可以消除对大量版图后仿真
或先进工艺仿真的需求，而这些仿真仍然可能耗时过长。此外—通过结合BOAS和迁移学习（TL）—
可以对齐不同工艺下的采样区域，确保电路工作在相同条件下，从而进一步提高迁移学习（TL）的效率。已针对多种电路进行了若干实验，验证了该采样与训练方法的效率。

本文其余部分组织如下：第二节讨论现有的建模算法。第三节介绍与BOAS和TL相关的背景信息。第四节讨论所提出的AMS建模方法的细节。为了验证所提出方法的优势，第五节展示了在不同应用场景下使用各种电路进行的代表性实验结果。

II. 相关工作

许多先前的研究探索了模拟和AMS电路的建模。本节详细讨论了几项具有启发性的研究工作。

A. 基于多项式回归的建模

从最著名的回归算法开始，当问题足够简单时，多项式回归是一种简单而高效的回归方法。在[14], 中，采用二次多项式回归来估计压控振荡器的频率和功耗。该方法的优点是计算复杂度非常低。然而，它难以应对参数和指标数量较多的复杂电路。在[15], 中，回归模型更加复杂，采用了更高阶的形式以处理更复杂的电路，但仍需假设电路处于线性区域，以便从由回归模型预测的“电路矩阵”推导出最终的性能指标。其他类似的经典建模方法（如克里金法）也存在模型复杂度效率低下的问题。实际上，经典回归建模无法处理复杂的AMS电路。

B. 支持向量回归机建模

由于计算成本迅速降低，现在可以实现容量更大的回归模型，这些模型需要更多数据和更长的训练时间。例如，支持向量回归（SVR）[12]被广泛应用于许多回归场景中。
在[13], 中，作者使用SVR对跨导放大器的P2M函数进行建模。根据该作者的说法，只要有足够的训练样本，
SVR的表现优于多项式回归和正项式回归。然而，[13]
中所示的P2M函数几乎是线性的，因为采样区域不够宽。
对于参数更多、采样区域更大的更复杂情况，如[17], 所示，人工神经网络（ANNs）明显优于SVR。

C. 神经网络建模

已经证明，由于神经网络具有较大的模型容量以及计算能力的近期发展，其非常适合用于表示AMS电路的复杂行为。在[17], 中，作者使用浅层人工神经网络和深度神经网络（DNN）对运算放大器的P2M函数进行建模。与SVR相比，[13], 中的神经网络能够为复杂的模拟电路提供更精确的指标预测。此外，如[17], 所示，训练良好的神经网络可被高效地用于优化已建模的电路。然而，优化一个神经网络固有的缺点在于
基于神经网络（NN）的电路——即不可避免的大量训练样本以及漫长的仿真和训练时间——问题仍未解决。因此，为了打破模型复杂度与训练成本之间的权衡，提出了BOAS和迁移学习（TL），以显著减少AMS电路神经网络模型训练所需的样本数量，特别是在后期设计阶段——即在更先进的工艺节点或后布局域下。

D. 贝叶斯模型融合

在[16], 中，作者对由于制造不确定性导致的模拟混合信号电路性能变化进行了建模。换句话说，他们对模拟混合信号电路的P2M函数进行了建模，其中电路参数服从某一概率分布函数。由于参数的变化范围较小，[16]中采用关于目标参数的正交多项式的线性组合来建模P2M函数。
他们工作的亮点在于尝试利用已有模型以提高建模效率。
更具体地说，他们利用基于原理图仿真结果拟合的模型来估计包含版图信息的模型。这是一个具有启发性的应用，因为他们证明了早期设计阶段已有的模型确实有助于后期设计阶段。然而，他们的方法仅在一个设计工作点附近有效，且该电路的P2M函数基本为线性，因为参数变化范围非常小。本文中，我们使用我们的迁移学习方法进一步证明，对于参数范围较大的一般性P2M函数，只要P2M函数是齐次的（如公式(18)所示），来自原理图层级的现有模型就能够促进包含布局寄生效应的建模。

III. 预备知识

本节简要介绍本工作中使用的一些基本概念和算法。

A. 多层感知机

我们使用多层感知机（MLP）作为电路回归模型，因为参数和指标没有确定的空间或时间结构。对于多层感知机中的每一层，数学计算可以表示为
$$ F(W, b, x)= f_{ELU}(Wx+ b) $$ (1)
$$ f_{ELU}(y)= \begin{cases} y & y \geq 0 \ e^y -1 & y < 0 \end{cases} $$ (2)
其中 $x$ 是输入向量，$W$ 是权重矩阵，$b$ 是偏置向量。$f_{ELU}$ 是多层感知机的激活函数，即指数线性单元(ELU)[8]，它将非线性引入回归模型（根据实验，该方法提供了最佳的模型精度）。神经网络的均方误差(MSE)损失定义如下：
$$ L= \frac{1}{N}\sum_{i=1}^{N} (m_i - \hat{m} i)^2 $$ (3)
其中 $m_i$ 是AMS电路的第 $i$ 个性能指标，$\hat{m}_i$ 是神经网络的预测值。然后，使用均方误差损失的梯度来训练多层感知机网络，可表示如下：
$$ W {j+1} = W_j - \alpha \frac{\partial L}{\partial W} $$ (4)
$$ b_{j+1} = b_j - \alpha \frac{\partial L}{\partial b} $$, (5)
其中 $W_j$ 和 $b_j$ 分别是第 $j$ 次迭代的权重和偏置，$\alpha$ 是学习率。
在实际训练中，为了避免陷入局部最小值，采用 Adam [9]—对 (4) 和 (5) 的改进—作为优化器。

B. 贝叶斯优化

贝叶斯优化（BO）[10]是一种著名的用于黑箱函数的全局优化算法。该算法结合了概率模型和采集函数。
概率模型可根据已有样本提供黑箱函数的先验分布，而采集函数则决定在何处获取下一个样本（文献中通常称为观测值）。在本研究中，选择了广泛使用的高斯过程（GP）作为概率模型，并选择上置信界（UCB）作为采集函数。

1) 高斯过程：

在高斯过程中，假设从黑箱函数观测到的每个样本 $y$ 都服从高斯分布，即
$$ y \sim N(f(x), \sigma_n^2) $$, (6)
其中 $f(x)$ 是黑箱函数，$x$ 是 $d$ 维向量，$\sigma_n$ 是随机噪声的标准差。我们还假设 $f$ 服从联合高斯分布；即
$$ f \sim N(\mu, \Sigma) $$, (7)
其中，$\mu=(\mu(x_1), \mu(x_2) … , \mu(x_n))$ 是联合分布的均值向量，$\Sigma_{ij}= \text{cov}(x_i, x_j)$ 是协方差矩阵的元素。在本研究中，选择常数均值 $\mu(x_i) = \mu_0$ 和 Matern核 [11] 来计算协方差，如下所示：
$$ c(x_i, x_j)= \frac{\sigma_n^2 2^{1-\nu}}{\Gamma(\nu)} (\sqrt{2\nu d})^\nu K_\nu(\sqrt{2\nu d}) $$ (8)
$$ d=(x_i - x_j)^T \Lambda^{-1}(x_i - x_j) $$, (9)
其中 $\mu_0, \sigma_n^2$ 和 $\Lambda= \text{diag}(l_1, l_2, … l_d)$ 是需要拟合的参数。如果将所有参数的集合表示为 $\Theta$ 时，拟合过程最小化对数似然，如下所示：
$$ \log P(y|X,\Theta)= -\frac{1}{2}(y^T\Sigma_\Theta^{-1}y+ \log|\Sigma_\Theta|+ N\log(2\pi)) $$, (10)
其中 $y=(y_1, y_2, … y_N)$ 和 $X=(x_1, x_2, … , x_N)$ 是所有已有样本的向量。基于拟合模型，下一个样本的先验分布由下式给出
$$ y_{N+1} \sim N(\mu(x_{N+1}), \sigma^2(x_{N+1})) $$ (11)
$$ \mu(x_{N+1})= \mu_0+ \text{cov}(x_{N+1}, X)(\Sigma+ I\sigma_n^2)^{-1}(y - \mu_0) $$
$$ \sigma^2(x_{N+1})= \sigma_n^2+ c(x_{N+1}, x_{N+1}) -c(x_{N+1}, X)(\Sigma+ I\sigma_n^2)^{-1}c(x_{N+1}, X)^T. $$

2) 采集函数：

根据高斯过程（GP）的先验分布，下一个样本的上置信界（UCB）可以表示为
$$ UCB= \mu(x_{N+1})+ \beta\sigma(x_{N+1}) $$, (12)
其中 $\beta$ 是用于平衡开发与探索的系数。当 $\beta$ 较大时，先前未采样区域的上置信界（UCB）更大。相反，当 $\beta$ 较小时，现有最大样本附近的上置信界（UCB）相对更大。
贝叶斯优化算法选择下一个能最大化上置信界（UCB）的样本。因此，较大的 $\beta$ 使算法能够探索未知区域，而较小的 $\beta$ 则使算法聚焦于现有峰值区域。在本研究中，我们经验性设定采集迭代次数为250。

IV. 所提出的建模方法

图1展示了所提出的AMS电路回归模型训练方法的全局工作流程。通过遵循此采样和训练流程，我们不仅可以获得在源域下精度更高的神经网络，还能以最小的开销迁移到目标域的新神经网络。本节将解释该工作流程的重要步骤。
第一步是定义AMS电路的设计参数和性能指标。接下来，我们定义一个

参数空间内的某个区域将被采样以构成训练数据集。为了通用性，每个参数的采样区域被初始化为
$$ \text{region} {\text{init}}=[p {\text{min}}, 10p_{\text{min}}] $$,
其中 $p_{\text{min}}$ 是根据制造工艺或设计者知识所允许的最小值。
随后，基于优化目标（例如优化放大器的增益）创建奖励函数。在步骤2和3中，我们通过最大化奖励函数来调整采样区域。

A. 贝叶斯优化辅助采样（步骤2和3）

一般来说，本文提出的方案中，目标采样区域是参数空间内以最优参数点为中心的高维立方体。此处，最优参数点定义为预设奖励函数达到最大值的点。通过合理设计的奖励函数，贝叶斯优化（BO）在给定的采样区域内找到局部最优点，并基于该局部最优点向全局最优采样区域移动。

1) 奖励函数设计：

为了将贝叶斯优化（BO）应用于模拟与混合信号（AMS）电路设计场景，我们提出如下形式的奖励函数：
$$ R= \frac{\prod_{i=1}^{I} M_i^{w_i}}{\prod_{j=1}^{J} (1+ P_j e^{(c_j-m_j)/T_j}+ 1)} $$ (13)
在公式(13)中，分子中的 $M_i$ 表示需要最大化的第 $i$ 个性能指标，$w_i$ 是该特定指标的权重。在分母中，$c_j$ 是某个指标 $m_j$ 的目标上限，$P_j$ 是违反此上限的惩罚项，$T_j$ 表示其容差。本质上，$P_j$ 决定了当 $m_j < c_j$ 未满足时惩罚的大小，$T_j$ 决定了当 $m_j$ 超过 $c_j$ 时惩罚增加的速度。请注意，我们避免在奖励函数中使用对数函数，因为这会使 $R$ 的峰值变得不够明显，从而使优化问题更具挑战性。
例如，让我们定义放大器的奖励函数为
$$ R_{\text{amp}} = \frac{BW \cdot A_v}{1+ 10 e^{(pwr_c -pwr)/5}+ 1} $$, (14)
其中 $BW$ 表示‐3dB带宽，$A_v$ 表示直流增益，$pwr$ 表示放大器的功耗。该奖励函数旨在最大化放大器的增益带宽积，同时将总功耗限制在 $pwr_c$ 以下。

2) 采样区域调整：

在大多数情况下，给定某个奖励函数时，初始区域并不包含全局最优点。因此，需要找到一个更好的采样区域。基于当前区域的优化结果，可以通过如下方式调整参数搜索区域的上下界来寻找更优的采样区域：
$$ I= p_{i,\text{low}} - p_{i,\text{high}} $$
$$ p_{i,\text{low}}’ = \begin{cases} p_{\text{opt},i} - \frac{I}{2} & p_{\text{opt},i} - \frac{I}{2} > p_{i,\text{min}} \ p_{i,\text{min}} & \text{otherwise} \end{cases} $$
$$ p_{i,\text{high}}’ = \begin{cases} p_{\text{opt},i} + \frac{I}{2} & p_{\text{opt},i} + \frac{I}{2} < p_{i,\text{max}} \ p_{i,\text{max}} & \text{otherwise} \end{cases} $$, (15)
其中 $p_{i,\text{low}}$、$p_{i,\text{high}}$ 和 $p_{i,\text{low}}’$、$p_{i,\text{high}}’$ 分别表示当前区域和调整后的区域中第 $i$ 个设计参数的上下界，$p_{\text{opt},i}$ 为第 $i$ 个设计参数的最优值点。简而言之，调整后的区域对每个参数具有相同的范围，但以当前区域的最优值点为中心。然而，如果该区域超出设计参数的物理限制，则会被限制在这些边界值上，即公式(15)中的 $p_{i,\text{min}}$ 和 $p_{i,\text{max}}$。在获得新的采样区域后，再次执行贝叶斯优化（BO）以寻找新的 $p_{\text{opt},i}$。如果每个设计参数的最优值点与其上下界保持足够的距离，则步骤3的迭代停止，并确定最优采样区域。

B. 源神经网络的训练（步骤4和5）

在确定最优采样区域后，对该区域内进行随机采样，并通过SPICE仿真获得相应的指标。利用通过BOAS获取的数据集，训练出一个足够精确的源神经网络，如第三节所述。

C. 迁移学习（步骤6）

如果回归模型需要用于后期设计阶段，则基于先前学习的神经网络模型应用迁移学习。此应用场景包括工艺迁移和布局后迭代。迁移学习的基础在于电路行为的相似性。例如，工作在饱和区的单个晶体管的漏极电流可近似为
$$ I_{dc}= \frac{1}{2} \mu C_{ox} \frac{W}{L}(V_{GS} - V_{th})^2 \frac{1+ \lambda V_{DS}}{1+ \frac{V_{GS} - V_{th}}{E_c L}} $$ (16)
如果考虑器件的宽度和长度对漏极电流的影响，我们可以将 (16)重写为
$$ I_{dc}(W, L)= \kappa \frac{W}{L} / (1+ \gamma L) $$ (17)
$$ \kappa= \frac{1}{2} \mu C_{ox}(V_{GS} -V_{th})^2 (1+ \lambda V_{DS}) $$, $$ \gamma= \frac{V_{GS} -V_{th}}{E_c} $$
不同工艺的 $\kappa$ 和 $\gamma$ 因子是不同的。用 $\kappa_s$ 和 $\gamma_s$ 表示源域，$\kappa_t$ 和 $\gamma_t$ 表示目标工艺，我们可以观察到器件电流在源域和目标域之间呈线性缩放：
$$ I_{dc,t}(W_t, L_t) = \frac{\kappa_t}{\kappa_s} I_{dc,s}(\frac{\gamma_s}{\gamma_t} W_t, \frac{\gamma_s}{\gamma_t} L_t) $$ (18)

因此，如果我们能找到缩放因子，那么来自源域—即神经网络回归模型—的知识就可以被重用。
请注意，这是一个用于说明的简化场景。实际上，电路行为更为复杂。幸运的是，在目标域中的P2M函数形式与源域相似的情况下（该函数本身不一定是线性的），迁移学习（TL）是适用的。这促使我们将BOAS与TL结合使用，以在不同工艺技术下找到最合适的局部采样区域。只要在各自优化的采样区域内的电路行为具有相关性，迁移学习就能提供一个高效复用先前训练知识的平台。这样一来，目标域中所需的训练数据集规模可以显著减少。图2展示了所提出的TL拓扑结构。该转移过程可表示为
$$ f_t(p_t) = A f_s(B p_t + b) + a = \hat{m}_t $$, (19)
其中 $f_t$ 和 $f_s$ 分别表示目标工艺技术和源工艺技术下AMS电路的P2M函数。矩阵 $B$ 和向量 $b$ 执行从目标参数空间到源参数空间的线性变换，即图2中的顶部线性层。
矩阵 $A$ 和向量 $a$ 执行从源性能指标空间到目标性能指标空间的线性变换，即图2中的底部线性层。通常情况下，使用这两个线性变换所带来的开销远小于从头开始训练另一个神经网络，这一点将在第五节的电路实例中得到验证。

V. 实验结果

为了验证所提出的采样与训练方法在回归模型的效率和精度方面的有效性，该方法被应用于三个代表性电路：CMOS反相器、带共模反馈（CMFB）的折叠共源共栅放大器以及Σ‐Δ数模转换器（DAC）。

图3显示了这三个电路的原理图。
我们的实验比较了四种不同的采样和训练方法。
1) 基线：我们在初始区域随机采样，并按照第三节.A所述训练神经网络。
2) 仅迁移学习：我们在初始区域随机采样，并按照第四节.C所述添加迁移学习层来训练神经网络。
3) 仅BOAS：我们使用BOAS生成训练数据集，并按照第三节.A所述训练神经网络。
4) BOAS与迁移学习：我们使用BOAS生成训练数据集，并按照第四节.C所述添加迁移学习层来训练神经网络。
在这些实验中，每个参数的初始区域范围从允许的最小值到该值的10倍。使用相同数量的训练样本，测量并比较了每种方法下的测试均方误差损失（图4）。均方误差损失由(3)式定制如下：
$$ \text{MSE}= \frac{1}{NQ}\sum_{n=1}^{N}\sum_{q=1}^{Q} \frac{( \hat{m} {nq} - m {nq})^2}{(m_{q,\text{max}} - m_{q,\text{min}})^2} $$ (20)
其中 $N$ 为样本数量，$Q$ 为指标数量，$\hat{m} {nq}$ 表示由回归模型预测的第 $n$ 个样本的第 $q$ 个指标，而 $m {nq}$ 为其真实值。此外，

$m_{q,\text{max}}$ 和 $m_{q,\text{min}}$ 表示整个数据集中第 $q$ 个指标的最大值和最小值。基于该均方误差，我们将第 $q$ 个指标的相对预测误差定义为
$$ \text{Er} q= \sqrt{ \frac{1}{N}\sum {n=1}^{N} \frac{( \hat{m} {nq} - m {nq})^2}{(m_{q,\text{max}} - m_{q,\text{min}})^2} } \times 100\% $$ (21)
注意，我们在实验中使用的MLP包含四个全连接线性层，并以 ELU作为激活函数，以在计算复杂度和精度之间取得平衡。

A. CMOS反相器

对于该电路，我们定义了五个设计参数和六个输出指标。
| 表I. 反相器的参数列表 |
|--------------------------|
| 参数 | 符号 | 采样范围 |
| NMOS宽度 | $W_n$ | [100, 1000] nm |
| PMOS宽度 | $W_p$ | [100, 1000] nm |
| 电源电压 | $V_{DD}$ | [0.8, 1.2] V |
| 负载电容 | $C_L$ | [10, 100] fF |
| 输入信号摆幅 | $V_{in}$ | [0, $V_{DD}$] |

这些指标包括上升/下降时间、低电平到高电平和高电平到低电平转换时间、功耗以及输入电容。
由于该电路的P2M函数相对线性，调整采样区域并无明显优势。因此，我们仅进行迁移学习实验，而不采用BOAS。在32纳米和45纳米工艺下通过SPICE仿真进行采样和仿真。在每种工艺下获取3000个随机样本。使用45纳米的样本作为源网络，基于基线和仅迁移学习方法，在少量32纳米样本上训练一个新的神经网络。

图5展示了使用剩余32纳米数据集进行测试时的测试均方误差损失比较。
如图5所示，对于一个简单的线性电路，当仅提供极少量训练样本时，所提出的迁移学习方法实现了低得多的均方误差损失。要达到相同的精度，基线方法需要多19倍的训练样本。换句话说，迁移学习显著减少了数据集生成时间。
除了均方误差损失的比较外，

图6显示了反相器下降时间（代表性指标之一）预测误差的散点分布。该预测误差定义为SPICE仿真值与神经网络预测值之间的差值。显然，在使用少量训练样本时，采用迁移学习的预测误差远小于采用基线方法的预测误差。

B. 带共模反馈的折叠式共源共栅放大器

对于该放大器示例，我们定义了18个设计参数和16个性能指标。
| 表II. 折叠共源共栅放大器的参数列表 |
|----------------------------------------|
| 参数 | 符号 | 采样范围 |
| 输入NMOS宽度 | $W_{in}$ | [100, 1000] nm |
| 折叠PMOS宽度 | $W_{fold}$ | [100, 1000] nm |
| 电流镜PMOS宽度 | $W_{mirror}$ | [100, 1000] nm |
| … | … | … |
| （共18个参数） | | |

该放大器的性能指标包括增益、极点位置、功耗、输入/输出电容、输入参考噪声密度以及关键节点处的电压摆幅，这些反映了典型的设计考虑因素。
由于该放大器电路更为复杂且具有非线性P2M函数，我们使用了四种采样与训练方法进行实验。在45纳米和32纳米工艺下，均通过所提出的BOAS找到了优化样本区域。
在每种工艺下，分别从初始样本区域和优化样本区域获取训练数据集。对于前两种方法（基线和仅迁移学习），网络源是一个在45纳米初始区域使用10,000个样本训练的神经网络，并且在32纳米下分别使用初始区域的样本在有和无迁移学习的情况下训练了一个网络。对于另外两种方法，样本是通过BOAS在每种工艺下获取的，作为训练和测试数据集。
首先，我们比较了四种方法的测试均方误差损失。

图7显示，在该放大器案例中，迁移学习（TL）实现了更小的测试均方误差损失。需要注意的是，当样本来自初始区域时，迁移学习（TL）的样本效率提升（7倍）低于反相器案例中的提升（19倍）。这是因为在初始样本区域内的非线性P2M函数使得电路在不同工艺技术下的行为相似性降低。幸运的是，在通过BOAS优化得到的采样区域中，电路在不同工艺技术下的行为更为相似；因此，迁移学习（TL）实现了17倍的样本效率提升。
BOAS 和 TL + BOAS, (b) 基线和 TL 的增益和噪声密度预测误差分布 对比)

这与反相器情况下的改进几乎相同。对于回归模型的整体精度，通过结合BOAS和迁移学习（TL），回归模型的均方误差始终最小。在使用1000个训练样本的比较中，所提出的BOAS和迁移学习方法相比基线方法将测试均方误差损失降低了5.7倍。
为了更详细地比较回归模型的精度，
| 表III. 放大器的相对预测误差 |
|----------------------------------|
| 训练条件（样本数） | 各项指标的相对预测误差 (%) |
| | 输入电容 | 输出电容 | 增益 | ‐3dB带宽 | 功率 | 输入参考噪声密度 |
| 源神经网络最优区域(10k) 3.45 | 3.45 | 6.21 | 3.09 | 2.97 | 1.21 | 2.17 |
| 源神经网络初始区域(10k) | 6.10 | 4.06 | 8.06 | 5.42 | 2.69 | 12.07 |
| 迁移学习 + BOAS(1k) | 6.79 | 5.45 | 5.94 | 5.34 | 4.23 | 5.99 |
| BOAS (1k) | 8.67 | 7.52 | 10.48 | 9.28 | 5.24 | 8.08 |
| TL(1k) | 6.05 | 6.38 | 8.59 | 4.46 | 3.09 | 9.43 |
| 基线方法(1k) | 7.03 | 7.92 | 14.72 | 6.30 | 5.66 | 9.82 |

表III列出了使用四种方法训练的源神经网络和目标神经网络在六个指标上的相对预测误差。其中，$C_{in}$ 和 $C_{out}$ 分别代表输入电容和输出电容，$BW$ 代表‐3dB带宽，$D_n$ 代表输入参考噪声密度。如表III所示，BOAS提高了源神经网络的精度。利用该精度提升后的源神经网络，在目标工艺下结合迁移学习（TL）和BOAS，目标神经网络能够在所有性能指标上实现良好的精度。
就绝对误差而言，增益和噪声密度预测误差分布（如图8所示）清晰地展示了结合迁移学习（TL）和BOAS的优势。无论是增益还是噪声密度，迁移学习（TL）的表现始终优于基线方法。然而，当训练样本来自初始采样区域时，绝对误差值相对较大。值得注意的是，初始采样区域包含具有负增益或过量噪声的样本——这些样本会为神经网络（NN）引入显著误差，而负增益和过量噪声在电路设计中是不切实际的。相比之下，通过BOAS在优化样本区域进行采样时，电路的增益和噪声被限制在合理范围内，神经网络（NN）的绝对误差显著减小，尤其是在采用迁移学习（TL）的情况下。这验证了所提出的BOAS与迁移学习（TL）方法的有效性。

C. Sigma-Delta 电容数模转换器

数模转换器是现代通信系统中广泛使用的电路，其布线寄生电容和电阻会对整体指标产生巨大影响。因此，在本例中，我们尝试使用原理图级P2M模型来加速涉及LPE的P2M函数的建模。
| 表IV. DAC的参数列表 |
|-------------------------|
| 参数 | 符号 | 采样范围 |
| 单元尺寸1 | $S_1$ | 离散值 |
| 单元尺寸2 | $S_2$ | 离散值 |
| … | … | … |
| （共九个离散尺寸参数） | | |

如表IV所示，我们在本例中定义了九个参数，即DAC中使用标准单元的离散尺寸，以使该电路适用于商用自动布局工具。
DAC的指标定义为无杂散动态范围（SFDR）、有效位数（ENOB）和功耗。源神经网络使用2000组原理图仿真结果进行训练，并随机生成另外1000个布局。版图后仿真结果用于训练涉及LPE的P2M神经网络模型，无论是否采用迁移学习方法，其对比结果如图9所示。

与之前的图表不同，我们在图9中使用了对数尺度图来展示测试均方误差损失随训练过程中使用的LPE仿真样本数量的变化情况。本例未应用BOAS，因为原理图级采样和版图后采样的区域需要保持一致。如图10所示，即使对于复杂的电路结构和对布局敏感的指标，迁移学习（TL）也比从头开始训练。仅使用四个训练样本，迁移学习就能达到基线方法需要超过600个样本才能实现的精度。在精度方面，使用相同数量的训练样本时，迁移学习的均方误差损失始终小于基线方法均方误差损失的1/4。
为了更精确地说明神经网络模型的预测精度，

图10展示了每项指标的相对预测误差与训练样本数量的对比。当使用非常少的样本进行训练时，基线方法只能实现超过10%预测误差的预测。相反，如果使用迁移学习，则神经网络模型可实现约4%的预测误差，性能提升了> 2倍。如果我们能够提供更多训练样本，迁移学习的预测误差可降至2%以下。因此，迁移学习可以避免大量耗时的版图后仿真，并有效加速涉及LPE的P2M功能建模。

VI. 结论

本文中，我们提出了一种用于模拟混合信号（AMS）电路的高效回归模型训练方法。BOAS能够正确选择采样区域并避免不必要的样本。当源域中的源神经网络（NN）被充分训练后，所提出的迁移学习（TL）方法可有效将知识从源神经网络迁移到目标神经网络（NNs），适用于不同工艺技术或版图后建模。因此，该方法显著减少了所需的训练样本数量，并提高了目标神经网络的精度。实验结果表明，对于多种电路拓扑结构在多个应用场景中，我们的采样与训练方法可以显著减少所需的训练样本，并有效提高模型精度。