从游戏AI到现实优化的范式转移
我是来自 Meta AI 的研究科学家兼经理田渊栋（Yuandong Tian）。Meta 此前名为 Facebook，此次演讲的主题是“AI 引导的代理模型用于现实世界优化”。虽然我的研究背景主要集中在强化学习（Reinforcement Learning），但强化学习在博弈领域的巨大成功为我们提供了新的思路。例如，DeepMind 最近展示了如何将 AlphaZero 的方法应用于 AlphaTensor 以获取有趣的解决方案。而在我们团队方面，早在 2018 年，我们就尝试使用 2000 块 GPU 训练一个强大的围棋模型，该模型以 20:0 的比分击败了四位职业围棋选手，而我们的训练仅使用了 单块 GPU 且每步耗时 50 秒。
“人们已经看到在围棋、国际象棋、将棋等游戏中取得了巨大的成功。”
这种在游戏中的胜利启发了我们思考：能否将搜索技术、优化技术或强化学习技术应用于更广泛的现实世界优化问题？这一方向的动机部分来源于 Google 的芯片设计工作，他们展示了如何将人类专家需要数周的工作，通过全自动化设计缩短至 6 小时。这证明了对于定义明确的函数 $f$（需最小化或最大化），机器学习可能提供超越传统算法的启发式解决方案。
理论依据：对抗性案例与特定分布
许多人质疑，由于许多优化问题是 NP-hard 的，除非 P=NP，否则不存在多项式时间的良好解法。然而，机器学习之所以有效，是因为传统的下界证明通常依赖于构造特定的对抗性案例（Adversarial Examples），这些案例旨在让任何特定算法失败。但在实际应用中，优化问题往往遵循特定的分布（Distribution）。在这种特定分布下，人类专家往往能发现非常有效的启发式规则。
“也许对于优化问题的特定分布，可能存在更好的启发式方法。”
因此，我们试图借鉴游戏 AI 的思路，用机器学习模型替换人类知识。在博弈中，我们用策略网络（Policy Network）替换动作选择，用价值函数（Value Function）替换局面评估。在搜索过程中，许多组件也可以通过机器学习模型进行替换或改进，例如搜索启发式算法（Search Heuristics）。这使得我们能够在更短的时间内获得更快、更好的解决方案。
机器学习在优化搜索中的具体应用
我们将机器学习整合到优化搜索中的几个关键方向包括：
- 学习重写启发式（Learning to Rewriting）：这是我们早期的工作，发表于 2019 年欧洲会议。该方法旨在学习如何逐步改进初始解，直到获得比之前方法更优的解。
- 强化学习与网络规划：针对大规模混合整数线性规划（MILP）问题，我们应用强化学习网络规划来寻找初始解。这些初始解可以极大地提高后续 MILP 求解的效率。
- 对比学习与大邻域搜索：最近，Taoan 在该研讨会中展示了如何使用对比学习（Contrastive Learning）来学习大邻域搜索（Large Neighborhood Search）的启发式算法。
“这是一个非常有成效的方向，我们可以尝试将机器学习融入优化中。”
这些工作表明，通过改进搜索器，我们可以为困难的优化问题获得更好的解决方案。此外，我们还将优化视为一种顺序决策过程（Sequential Decision Making Process）。在一个优化问题中，可能存在无数种将其构建为搜索问题的方法。如果构建不当，可能在开始时就陷入困境。例如，如果在前 50 个动作中选择不重要，而在第 51 个动作中才决定成败，这种结构会导致随机选择失效。因此，如何合理构建这种顺序决策过程，是应用机器学习解决优化问题的关键挑战之一。
搜索空间重构：从指数级爆炸到有界问题
在复杂的决策过程中，如果搜索策略不当，任何搜索技术或强化学习方法都会陷入困境。这是因为算法必须首先探索前50个动作，并以指数级方式扩展整个搜索树，直到触及真正关键的动作。在这种场景下，传统的搜索方法效率极低，因为搜索空间呈指数级增长，导致计算资源被大量浪费在无关路径上。然而，如果通过智能手段重新排列动作空间，优先选择关键动作，问题将瞬间变得简单，从而将复杂的搜索转化为有界问题。这种策略的核心在于利用好的初始动作引导后续决策，使优化过程更加高效。
为此，研究团队开发了ARMCTS系列算法，旨在通过机器学习为多叉树搜索学习最优的动作空间，从而加速优化过程。近期，该理论被应用于编译器优化领域，通过学习重要的编译器路径序列，有效减少了最终二进制代码的大小。这一系列工作表明，动作空间的重构是解决高维组合优化问题的关键突破口，它避免了盲目搜索，直接聚焦于对结果有决定性影响的动作分支。
状态表示简化：剥离无关特征以聚焦可控变量
在马尔可夫决策过程（MDP）中，状态空间往往包含大量与决策无关的噪声特征。例如，一个简单的日常场景是“打开窗户获取更多阳光”。此时，视觉输入中包含太阳、飞机、火鸡等大量信息，但真正影响决策的只有窗帘的位置这一可控变量。如果机器学习模型试图处理所有视觉特征，不仅计算成本高昂，还会因噪声干扰导致决策偏差。因此，必须对状态进行分解，仅保留那些可控且能直接产生奖励的关键状态变量。
"Only a very small subset of your state space it really matters for your actual decisions."
研究指出，只有当状态表示被精简为真正影响决策的核心要素时，机器学习模型才能有效工作。通过识别并剔除无关特征，模型能够更准确地映射状态与动作之间的关系，从而提升优化效率。这一原则适用于从机器人控制到系统调度的广泛领域，强调了状态空间的稀疏性和可控性在强化学习中的重要性。
代理模型设计：应对高成本评估与噪声反馈
在现实世界的优化问题中，直接评估真实系统的成本极高且反馈充满噪声。例如，优化计算系统可能需要一天才能获得单次反馈，这使得在线学习方法完全不可行。此外，最终优化结果往往存在巨大噪声，需要构建高精度的代理模型（Surrogate Model）来预测系统行为。设计高效的代理模型是加速优化过程的核心挑战，主要涉及两个方向：一是针对非线性计算优化问题的线性代理模型，二是针对线性偏微分方程的动态与频率响应建模。
"In real-world problems, it's very slow to evaluate what is the to evaluate real systems... If you just try any online approach, it just you basically doomed."
这一部分的工作主要与USC、Rice大学及内部产品团队合作。前者致力于解决非线性函数在组合区域上的优化，后者则专注于通过建模加速天线设计中的搜索过程。代理模型的核心价值在于其能够以极低的成本提供准确的预测，从而替代昂贵的真实系统评估，使优化算法能够在虚拟空间中快速迭代，最终找到接近最优的解。
案例实证：大语言模型嵌入表的GPU分配优化
以大型非英语语言模型的训练为例，嵌入表替换问题是一个典型的非线性组合优化案例。该问题涉及将K个嵌入表分配到N个相同的GPU设备上。每个表i具有特定的内存需求$m_i$，而每个GPU设备具有固定的内存容量。约束条件要求：分配给同一GPU的所有表的内存需求之和不得超过该设备的容量上限。同时，优化目标是最小化计算所有表的总延迟。
该问题的非线性源于GPU的批处理特性：当多个表被放置在同一个GPU上时，它们可以并行执行，从而显著降低延迟；但若分散在不同GPU上，则需通过PCIe总线进行数据压缩和传输，导致性能下降。数学上，这被建模为一个二进制约束问题，其中$x_{ij}$表示表i是否分配给设备j。目标函数需同时满足容量约束和最小化延迟的非线性系统效应。这一案例生动展示了系统底层硬件特性（如GPU批处理）如何使简单的分配问题转化为复杂的非线性优化挑战，验证了代理模型和智能搜索策略的必要性。
非线性AI优化的困境与线性化思路
在现实世界的复杂问题中，通信成本往往构成一个典型的非线性约束条件。由于人工智能（AI）模型本身具有高度的非线性特征，这导致整个优化问题变得极其复杂，现有的传统求解器难以直接处理此类问题。为了解决这一难题，以往的研究工作主要聚焦于对AI进行线性化处理。其核心逻辑是尝试将目标函数线性化，期望通过这种近似获得较好的解决方案，随后通过反复调整权重来微调结果。这种迭代式的直觉性方法虽然存在，但效率低下且结果往往不尽如人意。
"previous work is focused on is try to linearize the AI. Right. So you say, okay, let's do linearization of the objective functions."
相比之下，线性优化虽然通用求解器通常较慢，但在特定领域已有专用求解器支持。然而，对于一般的非线性优化问题，如使用遗传算法或贪婪方法，往往面临可行性解难以快速获得或根本无法获得可行解的困境。如果仅依赖缺乏内置可行性检查机制的梯度方法，可能长时间无法得到满足约束的解。因此，线性优化因其成熟的求解器生态而显得更为容易处理，这为提出新的替代方案提供了基础。
Circle框架的核心逻辑：寻找线性代理
针对上述挑战，研究者提出了名为Circle的框架，其核心目标是找到一个线性代理（Linear Surrogate），使得该线性代理的解能够匹配原始非线性问题的解。具体而言，假设存在一个带有计算约束的非线性优化问题，Circle试图预测一个代理成本（Surrogate Cost）。当把这个代理成本代入线性优化问题时，所得到的解对于优化原始非线性问题具有实际效用。
这种逻辑看似迂回，实则旨在利用线性求解器的高效性。通过构建一个线性代理问题，Circle期望在保持解的质量的同时，大幅降低计算复杂度。尽管这一方法在理论上存在局限性，例如当最优解位于可行域内部时，线性近似可能无法捕捉到该解（除非线性近似是凸的或涉及整数点），但在实际应用中，该方法在许多场景下表现出了良好的性能。这表明，尽管理论分析尚不完善，但实证结果表明该框架在解决现实世界问题时具有潜力。
梯度反向传播与Circle变体
为了找到合适的代理成本系数 $c$，Circle框架采用基于梯度的优化方法。其流程是通过反向传播（Backpropagation）穿过目标函数和求解器，以最小化损失函数，从而确定代理系数 $c$。在这个过程中，解 $x^*$ 由线性求解器提供，反向传播旨在找到能使该解最优化的 $c$ 值。然而，这种方法面临过拟合特定问题的风险，即得到的系数可能仅对单一特定目标函数有效，缺乏泛化能力。
为解决泛化问题，研究者提出了Circle Prior等变体。Circle Zero仅针对单一特定目标函数进行优化，得到的系数 $c$ 虽然能解决该特定问题，但不可泛化。而Circle Prior则引入了上下文特征（Context Features），即考虑问题本身的属性，利用这些特征来确定优化损失函数的方式。通过结合问题特征，Circle Prior旨在找到更具普遍适用性的代理系数，从而在类似但略有不同的目标函数设置下，依然能提供高质量的解决方案。这种方法不仅利用了线性求解器的速度，还通过AI引导的优化过程增强了模型的适应性和鲁棒性。
"The first one is called circle zero... That leads you to the optimization, the solution to optimization problem. But that one is not generalizable."
实证效果与局限性讨论
尽管Circle框架在理论上的电路分析尚不充分，且存在最优解位于可行域内部时可能失效的局限性，但实证研究显示其在现实世界问题中表现良好。研究者在多种不同场景下尝试了该方法，均观察到了令人满意的结果。这表明，即使在理论假设较为宽松的情况下，通过线性代理近似非线性约束的策略依然具有实用价值。
值得注意的是，该方法的有效性依赖于问题的具体结构。如果问题具有特定的凸性或离散特性，线性近似的精度可能会受到影响。然而，通过引入上下文特征和迭代优化，Circle框架在一定程度上缓解了这些问题。未来的工作可能需要更深入的理论分析，以明确该框架适用的边界条件，并进一步优化代理成本的计算效率。目前，Circle作为一种启发式方法，为处理AI引导的非线性优化问题提供了一条可行的技术路径，特别是在通信成本等复杂约束场景下，展现了巨大的应用潜力。
"In this paper is more is mostly empirical paper. So, which means that we actually try this approach and actually works in real-world problems."
Circle Prior：基于问题特征的代理系数映射
Circle Prior 方法的核心在于将代理成本系数 $c$ 从独立变量转变为问题特征 $y$ 的函数。在传统架构中，求解器和目标函数是两个主要模块，而在 Circle Prior 中，代理系数 $c$ 不再是一个静态变量，而是通过一个神经网络进行参数化。该网络接收预先已知的问题特征 $y$ 作为输入，直接输出对应的代理系数 $c$。通过端到端的反向传播（Backpropagation），系统学习到的不再仅仅是某个特定问题的系数，而是一个通用的映射关系。
"That neural network is to map the problem feature y to the surrogate coefficient c."
这种设计的优势在于泛化能力。一旦神经网络训练完成，在测试阶段面对具有新描述 $y$ 的新问题时，只需将问题特征输入网络，即可直接获得适用于该新问题的代理系数 $c$。随后，利用这些系数调用线性求解器或代理优化器，即可得到原始非线性优化问题的最优解 $x^$。这种方法避免了为每个新问题单独训练系数的过程，实现了从特征到优化参数的直接映射*。
Circle Zero 与 Hybrid 混合策略
Circle Zero 方法侧重于在线优化，无需离线训练数据，而是针对单个问题实例即时优化特定函数 $f$。为了进一步提升解的质量，可以将 Circle Prior 与 Circle Zero 结合，形成 Hybrid 混合策略。在该策略中，首先利用 Circle Prior 训练好的神经网络，根据问题描述 $y$ 生成初始代理系数 $c_0$。随后，以 $c_0$ 为起点，在测试时执行 Circle Zero 流程，通过反向传播进一步微调系数，从而优化最终解的质量。
"We can also use that c as the initial Surrogate coefficients c zero, and then we can try our circle zero on top of this initial surrogate coefficients to further improve the quality of the resulting solutions."
在实施 Hybrid 策略时，演讲者澄清了一个关键的技术细节：在测试阶段的微调过程中，不需要更新神经网络参数 $ heta$。原演示文稿中显示的更新 $ heta$ 的块是一个笔误（Typo），应当移除。正确的流程是：固定已训练好的网络参数，仅对最后两个模块（即从初始系数 $c_0$ 到最终解的优化过程）进行反向传播。这种在线微调机制结合了离线学习的泛化能力和在线优化的针对性，构成了更强大的混合求解框架。
与 Predict-then-Optimize 及传统非线性求解器的对比
Circle 系列方法与现有的 "Predict-then-Optimize" 方法存在显著差异。首先，Predict-then-Optimize 主要适用于具有线性目标函数的线性优化问题，而 Circle 方法专门针对非线性目标函数。其次，Predict-then-Optimize 通常需要目标函数的真实线性系数 $c_i$ 作为地面真值（Ground Truth）进行训练，而 Circle 方法仅需要问题描述（Problem Descriptions），无需提供最优解或线性系数，算法能自主推断出合适的系数。
与传统非线性求解器（如 SCIP）相比，Circle 方法对目标函数的形式要求更低。传统求解器通常要求用户编写目标函数的解析形式（如 log, exp, polynomial），以便进行界限计算和基准测试。而 Circle 方法仅要求目标函数是可微的（Backpropagatable），只要存在梯度即可使用梯度下降法，无需解析形式。此外，两种方法都依赖于上下文信息（问题描述），这是解决此类问题并推广到未见问题的最小要求。这种对非线性、无解析形式需求的处理能力，体现了 Circle 方法在复杂现实问题优化中的灵活性。
嵌入表分片：问题定义与基准测试设置
演讲者首先介绍了第一个实际应用场景：嵌入表分片（Embedding Table Sharding），这是训练神经网络，特别是大型推荐模型（S models）时面临的核心优化问题。该问题的数学本质是在非线性误差目标函数与线性约束条件之间寻找最优解。为了验证所提方法的有效性，研究团队将其与多种基线方法进行了对比，包括传统的贪婪算法（Greedy）、领域启发式方法（Domain Heuristic），以及团队此前发表在 EuroSys 上的基于强化学习的方法 DreamShard。实验基准采用了深度学习推荐模型的标准测试集，横轴参数表示嵌入表的数量，从 10 张表（M10） 到 60 张表（M60），所有实验均在 4 块 GPU 的环境下运行。评估指标主要关注两个维度：一是解决方案损失（Solution Loss），即目标函数的值，越低代表优化效果越好；二是运行时间（Runtime），即获取解决方案所需的时间，同样越低越好。这种双指标评估旨在平衡解的质量与计算效率。
嵌入表分片：小规模与大规模场景的性能对比
在小规模问题（如仅 10 张表）中，CircleZero 方法展现出了良好的平衡性。与领域启发式方法相比，CircleZero 的解决方案损失较低；与贪婪算法相比，其运行速度更快，尽管比启发式方法稍慢，但整体效率合理。相比之下，CirclePrior 方法通过一次性求解预测的 C 值，几乎不消耗额外的优化运行时间，速度极快，虽然其解决方案损失略高于 CircleZero，但仍处于合理范围内。> "CirclePrior is very fast... the loss is not that bad. It's still reasonably good." 这种权衡表明，在资源受限或需要快速响应的场景下，CirclePrior 是一个极具吸引力的选项。
当问题规模扩大至大规模场景（如 60 张表）时，CircleZero 的优势显著增强。数据显示，CircleZero 产生的解决方案损失明显低于领域启发式方法、贪婪算法以及之前的强化学习方法 DreamShard。这表明随着问题复杂度的增加，基于求解器的优化方法在寻找全局最优解方面具有更强的能力。此外，团队还提出了 CircleHybrid 方法，结合了 CirclePrior 的快速性与 CircleZero 的精确性，进一步降低了解决方案损失。在实际部署中，用户可以根据需求在迭代次数上进行权衡：通过限制优化步骤中的迭代次数，可以在保持较快速度的同时获得比纯启发式方法更优的解，实现了速度与精度的灵活平衡。
逆向光子设计：物理器件的结构化优化
演讲的第二个应用领域是逆向光子设计（Inverse Photonic Design），这是一个涉及材料设计的复杂物理问题。目标是设计一种物理上可行的微型器件，能够根据光的波长将入射光波路由到不同的路径。该器件尺寸极小，约为 100 x 100 纳米。由于在如此微小的空间内难以放置传统镜子，设计必须利用电磁波的衍射特性来分离不同波长的光。例如，对于波长一，光应向特定方向传播；对于波长二，则向另一方向传播。这一设计问题的核心在于控制器件内部的微观结构，以实现精确的光路控制。
在优化建模方面，该问题被转化为一个二进制图像优化问题。设计变量是一个 18 x 18 x 18 的二进制矩阵，每个位置的值（0 或 1）代表该处是否填充特定材料。不同的材料组合会改变局部的电磁属性，从而引导光线自然分裂并路由至预定路径。除了复杂的非线性目标函数外，该问题还包含严格的制造约束。> "You don't want to have these blobs to be too small... minimal size." 具体而言，设计变量形成的结构（blobs）必须满足最小和最大尺寸限制，避免出现孤立的小点或过于微小的结构，因为这些结构在物理制造中是不可行的。这些线性约束确保了生成的设计方案不仅在理论上可行，而且在工程实践中具有可制造性。
基于领域知识的非线性优化与 Circle 算法基准测试
该部分研究聚焦于利用领域专家知识构建目标函数，旨在最小化特定指标。研究团队使用了 Google 公开的数据集，并与针对特定领域设计的启发式算法进行了对比，以验证通用方法的有效性。测试任务包括波形弯曲（从左至右向上）、模式转换（单束转为双束）等。实验结果显示，Circle Zero 版本在性能上优于现有最先进水平（SOTA）。
"We are trying to leverage our general approach in order to show whether our general approach can do better jobs."
为了量化性能，研究对比了三种方法：Pass-through Gradient（通过梯度法，无组合转换组件，仅投影到可行域）、Circle Zero（零样本）和 Circle Hybrid（混合版）。下表展示了不同任务下的解损失（Solution Loss）与运行时间（Runtime）对比数据：
| 任务类型 | 算法版本 | 解损失 (Solution Loss) | 运行时间 (Runtime, 相对值) | 备注 |
|---|---|---|---|---|
| 波形弯曲/模式转换 | Pass-through Gradient | 较高 (Non-zero) | 基准 (1.0x) | 噪声大，难以收敛至零 |
| 波形弯曲/模式转换 | Circle Zero | 低 (Better than SOTA) | 较快 (< 1.0x) | 性能优于现有SOTA |
| 波形弯曲/模式转换 | Circle Hybrid | 最低 (Lowest) | 最快 (< Circle Zero) | 兼顾低损失与快速度 |
| 简单任务 (Bin Splitter/Multiplexer) | 所有算法 | 0 | N/A | 多数算法可达零损失 |
对于较简单的任务如 Bin Splitter 和 Multiplexer，大多数算法均能达到零解损失。但在最困难的场景中，Circle 系列算法展现出显著优势。
Circle 算法的收敛特性与版本分类
通过观察收敛曲线可以发现，Pass-through Gradient 方法虽然曲线下降，但噪声极大，且最终解损失难以触及零。相比之下，Circle Zero 的曲线下降速度显著加快，而 Circle Hybrid 由于使用了代理成本函数的良好初始点，收敛速度更快。这直观地解释了 Circle 算法为何有效。
"Circle Hybrid, go even faster because they start with the good starting point of the surrogate cost."
Circle 算法包含三个主要版本，适用于不同场景： 1. Circle Zero：零样本版本，无需训练，直接应用。 2. Circle Prior：离线训练/微调版本，利用先验知识提升性能。 3. Circle Hybrid：混合版本，结合两者优势，实现更低的解损失和更快的运行速度。
总结而言，Circle 能够处理工业级应用中的微分优化问题，为组合非线性优化问题提供高质量解，覆盖了广泛的工业场景。
线性偏微分方程的代理模型与天线设计应用
第二部分研究转向与生产团队合作的天线设计问题。核心目标是构建线性偏微分方程（PDE）频率界限的代理模型，使用自注意力复多项式（Self-attentive Complex Polynomials）。线性 PDE 描述空间和时间信号（如电磁波、电场、磁场）的演化，其形式为 $f$ 是输入信号及其梯度的线性组合，$h$ 为设计参数。
"We are trying to build a surrogate model for frequency bounds of linear partial differential equations using some self-attentive complex polynomials."
常见的线性 PDE 包括热方程、波动方程、薛定谔方程和麦克斯韦方程组。传统方法依赖商业软件模拟这些方程，成本高且效率低。本研究旨在通过代理模型优化天线设计，例如特定形状的天线结构，以替代昂贵的商业仿真软件，实现更高效的设计迭代。
天线设计的物理约束与优化目标
在实际工程中，天线的核心挑战在于如何在极小的物理空间内实现高效的电磁波接收。传统的理想化天线模型往往假设其能接收来自天空的信号，但现实设备要求将天线集成到极小的PCB板上，同时必须能够接收来自外界的强电磁波。为了实现这一目标，设计师需要在二维PCB板上布置金属结构，通过特定的布局来塑造天线的频率响应特性。这种布局使得天线在特定频率下产生极强的吸收效应，进而通过测量电流或电压来读取信号。因此，天线设计的核心问题转化为寻找金属部件的最佳排列方式，以满足预定的频率响应标准。通常，这些标准包括在特定频率点将频率响应值控制在阈值以下，从而确保信号处理的准确性。
线性偏微分方程的离散化与频域定理
为了处理上述复杂的电磁场方程，演讲者首先将线性偏微分方程（PDE）在空间域上进行离散化。以波动方程为例，空间域上的拉普拉斯算子被转化为线性算子 $B$，而二阶时间偏导数被分解为两个一阶算子。经过这种处理，方程可以表示为矩阵形式 $A$，这对应于线性PDE的谱离散化。在此基础上，演讲者提出了一个关键定理：在频域中，对于任何线性PDE，其信号在任意位置的线性组合比率具有特定的参数形式。具体而言，该比率是复多项式的比值。根据代数基本定理，这些复多项式可以分解为多个一次线性因子的乘积。这意味着，尽管具体的参数（如零点 $z$ 和极点 $p$）未知，但频率响应的结构被严格限制在有理函数的形式内。
基于神经网络的代理模型构建
基于上述定理，天线设计的散射系数（scattering coefficients）也被证实具有有理函数形式。这启发了一种新的优化思路：直接预测决定频率响应参数形式的三个关键系数族。为了实现这一点，研究团队利用神经网络学习从设计选择的图像表示到这些未知系数之间的复杂映射关系。这种代理模型（surrogate model）旨在捕捉从几何结构到频域特性的非线性关系。通过收集由商业软件生成的数据，即输入天线设计并输出对应的滤波器响应，团队构建了训练数据集。这种方法的核心优势在于，它避免了直接求解复杂的物理方程，而是通过数据驱动的方式预测关键参数，从而加速设计过程。
静态评估与强化学习搜索验证
对代理模型的评估分为两个阶段：静态评估和动态搜索验证。在静态评估中，团队使用保留的数据集测试神经网络模型的准确性，重点关注损失函数的数值表现，以验证模型对已知数据的拟合能力。然而，更具挑战性的是动态评估，即将学习到的代理模型嵌入到由强化学习驱动的搜索范式中。在这种范式下，模型被用于寻找最优的天线设计方案。一旦搜索算法给出最优解，团队会使用商业软件对该解进行最终验证，检查其是否满足初始计划中指定的频率响应标准。这一过程证明了AI引导的非线性优化不仅能在理论上拟合数据，还能在实际工程设计中生成满足严格物理约束的有效方案。
CDP 框架显著降低预测误差
在针对天线频率响应的预测任务中，研究团队对比了多种基线模型与提出的 CDP 框架。基线模型包括使用多层感知机（MLP）结合天线坐标作为输入来直接预测频率响应的简单方法。实验结果显示，这种传统方法存在较大误差，而引入 CDP 框架后，误差降低了 50%。这一数据表明，CDP 框架在准确性上远超简单的基线模型，为后续优化提供了更可靠的基础。
"This baseline include a lot of very simple baselines... this one is actually much lower in term of the errors, right? So you have like 50% error reductions."
理论保证带来的平滑性与一致性
CDP 框架的核心优势在于其具备理论保证，能够利用频率响应的内在结构特性。与直接使用原始参数预测频率响应的“原始模型”不同，CDP 模型采用零点和极点（zeros and poles）作为参数化表示。可视化结果显示，原始模型的预测结果呈现锯齿状且不连续，这是因为其未利用频率响应的结构特性。相比之下，CDP 模型的预测结果极其平滑，且与实际的仿真结果高度一致。这种平滑性不仅符合物理规律，也证明了理论框架在捕捉数据本质结构方面的有效性。
"The raw prediction is actually very jaggy... because the raw prediction does not utilize the structure of the frequency response... But our CDP model actually predicts like something that is super smooth."
搜索算法中的成功率对比实验
为了验证 CDP 模型在实际设计问题中的有效性，研究团队将其与搜索算法结合，评估其在寻找可行设计解时的表现。实验设置了三种模型，每种模型进行三次搜索尝试（使用不同的随机种子）。评估标准是检查每种尝试中，前三名解决方案中是否有任何一个符合可行性标准。数据表明，虽然随着数据量增加，所有模型的成功率都会上升，但 CDP 模型的成功率始终高于原始模型。这证明了在非线性优化搜索过程中，CDP 提供的结构化预测能更有效地引导算法找到高质量的设计方案。
| 模型类型 | 搜索尝试次数 | 评估标准 | 表现对比 |
|---|---|---|---|
| 原始模型 (Raw Model) | 3 次 (不同随机种子) | Top 3 解中是否存在可行解 | 成功率较低 |
| CDP 模型 | 3 次 (不同随机种子) | Top 3 解中是否存在可行解 | 成功率更高 |
未来研究方向
尽管当前成果显著，研究团队指出未来工作将集中在将这一公式化方法扩展到更一般的线性 PDEs（偏微分方程）中，因为现有理论并不限制这种扩展。此外，团队计划测试更复杂的场景，例如三维结构化天线以及其他类型的设计问题，以验证 CDP 框架在更广泛工程应用中的通用性和鲁棒性。这些扩展将进一步证明 AI 引导的非线性优化在解决现实世界复杂问题中的潜力。
"The future work is that how we can apply this formulation to maybe more general linear PDS... and we may also want to test on like more complicated scenarios, like three D structured antenna."