程序神经代理的核心概念与研究动机
本次演讲由 Alex Rinda 主讲，联合实验室成员 Yiding、Zach Inkner 及其导师 Mike Carbon。尽管过去几年涌现了大量看似领域各异的研究（如神经加速、可微代理、程序平滑等），但其底层共享一个核心概念：程序代理（Surrogate of a Program）。这是一种基于机器学习模型（如神经网络）构建的程序行为预测器，旨在通过训练使其对给定输入的预测结果近似于原程序的输出。> "Under the hood, all of these papers take advantage of the same core concept. And specifically, that concept is that of a surrogate of a program." 引入代理的主要驱动力在于其能显著提升复杂程序的速度与准确性。文献数据显示，Asmals 等人利用代理将一组程序的速度提升了约 2.3倍；Kutskowski 等人则通过代理将物理模拟的准确性提高了 2到3倍。此外，研究团队此前的工作还利用代理找到了能降低模拟误差的参数配置。然而，目前该领域仍处于“蛮荒西部”状态，缺乏系统化的方法论，导致许多研究各自为政。
系统化研究的两大方向与 LLVM MCA 案例背景
针对上述混乱现状，研究团队确立了两个核心目标：首先，开发基于代理的设计模式分类法（Taxonomy），以理清不同应用场景及其潜在收益；其次，建立开发这些代理的编程方法论（Methodologies），帮助非机器学习专家也能有效构建程序代理。为具体阐释这些模式，演讲引入了 LLVM MCA 作为案例研究对象。这是一个包含约一万行 C++ 代码的 CPU 模拟器，属于 LLVM 编译器基础设施的一部分。LLVM MCA 接收 x86 基本块（无跳转或循环的指令序列）及一组描述 CPU 物理特性的参数作为输入，输出该基本块在循环执行中的吞吐量（Throughput），即所需的 CPU 时钟周期数。其内部机制涉及指令经过四个阶段的处理，速度受物理参数控制。
LLVM MCA 的复杂性、正确性规范与设计模式引出
LLVM MCA 的核心难点在于其参数配置。为了针对任何特定的 CPU 架构进行建模，用户必须设置 11,000个参数 来调整各阶段行为及资源可用性。与传统程序严格的“正确/错误”二分法不同，模拟器通常拥有更宽松的正确性规范（Correctness Specification）。这种特性使得代理模型的应用成为可能，因为目标并非完全复现二进制逻辑，而是逼近性能指标。基于此案例背景，演讲预告将详细介绍三种识别出的设计模式：电路编译（Circuit Compilation）、电路适配（Circuit Adaptation） 和 电路优化（Circuit Optimization）。这些模式旨在系统化地指导开发者如何构建代理并将其应用于编程任务中，从而解决当前领域方法论缺失的问题。
基准测试误差：LLVM MC vs. 真实CPU
在讨论具体的加速方案之前，必须明确模拟工具与硬件真实性能之间的差距。研究团队开发了名为 Beehive 的时序方法论，该方法旨在对应 LLVM MC（LLVM Machine Code）所做的假设，并收集了来自真实世界程序的基本块数据集以验证其准确性。通过对比分析发现，LLVM MC 与真实 CPU 仿真结果之间存在显著误差。使用平均绝对百分比误差（Mean Absolute Percentage Error, MAPE）作为衡量标准，数据显示 LLVM MC 的误差约为百分之二十五。
| 评估对象 | 对比基准 | 平均绝对百分比误差 (MAPE) |
|---|---|---|
| LLVM MC 模拟器 | 真实 CPU (Ground Truth) | ~25% |
这一数据表明，LLVM MC 本身并非完美模拟真实硬件行为。因此，任何基于 LLVM MC 构建的代理模型（Surrogate），其误差将叠加在模拟器本身的固有误差之上。理解这一基准线对于后续评估代理模型的性能至关重要，因为最终目标是加速模拟过程而非提高对真实硬件的预测精度。
加速编译循环：神经代理替代仿真模型
在编译器内部使用 LLVM MCA（Machine Code Analyzer）进行电路编译时，主要目的是加速原始仿真模型的执行。如果将此类仿真模型置于编译器循环内部，开发者可以尝试大量语义等价但性能不同的候选优化方案，并选择执行速度最快的一种。当仿真模型成为编译过程的瓶颈时，使用神经代理（Surrogate）可以显著缩短每次迭代的时间，从而在有限的编译时间内测试更多的优化候选项。虽然 LLVM MCA 本身速度尚可接受，但在工业界（如 ARM），周期精确仿真器（Cycle Accurate Simulators）的运行速度极慢。对于需要快速评估代码行为粗略模拟的场景，训练一个更快的仿真模型代理是提升迭代效率的关键手段。通过这种方式，开发者能够在调用外层循环时获得更快的反馈速度。
提升精度：从零训练与代理适应的对比
若目标不是加速而是提高 LLVM MCA 对真实 CPU 行为的模拟精度，编译器本身无法通过标志位直接提升准确性。修改 LLVM MCA 代码以逼近真实硬件需要深厚的专家知识，而另一种极端方案是抛弃现有模型，从头训练神经网络。虽然良好的网络架构能超越 LLVM MCA 的精度，但深度学习模型极度依赖数据量。为了达到或超过 LLVM MCA 的水平，通常需要数万条真实硬件数据。相比之下，“代理适应”（Surrogate Adaptation）提供了一种更优路径：首先构建 LLVM MCA 的代理模型，随后利用少量真实 CPU 数据对其进行微调。这种方法本质上是通过梯度下降调整代理模型的语义，使其更贴合真实硬件行为。在数据稀缺的低数据区间（Low Data Regime），代理适应展现出极高的效率，仅需极少量真实数据即可显著降低误差。
性能基准测试：不同模拟方法的精度与数据需求对比
为了量化上述方法的效果，研究比较了 LLVM MCA、从零训练的神经网络以及代理适应模型在误差与所需数据量上的表现。Y 轴代表相对于真实硬件数据的误差（越低越好），X 轴代表训练所需的数据点数量。结果显示，LLVM MCA 的误差恒定在约 25%，不随数据量变化；从零训练的模型虽能超越该误差，但需要约 10,000 个数据点才能持平；而代理适应模型在初始阶段（无真实数据）误差接近 LLVM MCA，仅需约 100 个数据点即可将误差降至更低水平。随着数据量趋于无限，从零训练与代理适应的结果最终收敛。
| 模拟方法 | 初始误差水平 (无真实数据) | 达到超越 LLVM MCA 精度所需的数据量级 | 误差随数据量的变化趋势 |
|---|---|---|---|
| LLVM MCA (基准) | ~25% (恒定) | N/A (不依赖数据训练) | 误差保持恒定，不受数据量影响 |
| Neural Network (从零训练) | N/A (需大量预训练/初始化数据) | ~10,000 个真实硬件样本点 | 随着数据增加，误差显著下降并最终收敛 |
| Surrogate Adaptation (代理适应) | ~25% (初始模仿 LLVM MCA) | < 100 个真实硬件样本点即可显著降低误差 | 在低数据区间迅速下降，最终与从零训练收敛 |
可解释性困境：参数调优 vs. 黑盒模型
尽管代理适应提升了精度，但牺牲了模型的可解释性（Interpretability）。由于神经网络本身难以推理，且适应过程改变了模拟语义，开发者无法解释模型为何做出特定预测。若需保持可解释性并追求高精度，另一种策略是优化 CPU 参数设置。专家通常依据 Intel 手册文档或实测芯片数据来手动设定这些参数，这也是 LLVM MCA 开发者目前采用的方法。然而，这种方法不仅耗时费力，且最终误差仍停留在约 25% 的水平。在追求高精度与保持可解释性之间，目前仍存在权衡：要么接受黑盒模型的高精度但低可解释性（代理适应），要么坚持白盒参数调优的低误差上限与高可解释性。
"The problem is that doing this can require a really, you know, a significant amount of data... in order to have a neural network that matches or you know to beat LLVM MCS accuracy, you need a huge amount of data."
"Surrogate adaptation is a pattern in which you develop a surrogate of a program, and you continue to train that surrogate on some data from some different downstream task. And the key reason you want to do this is essentially this lets you go and change the semantics of your program to better match that downstream task, while being more data efficient than just training a model from scratch on that task."
放弃真实参数：转向优化问题的定义
在程序仿真中，一个常见的误区是执着于让模型参数的预测值等于其“真实地面真值”（ground truth）。然而，研究表明这种执着往往无法带来高精度的仿真效果。相反，更有效的策略是将问题重新定义为一个优化目标函数。我们不再关心参数是否物理上真实，而是关注能否找到一组参数，使得针对特定基本块（basic blocks）数据集的仿真结果达到最高精度。正如演讲者所言："what I want is I want the parameters that such... for some data set of basic blocks, I can get the most accurate simulation of those basic blocks"。这种定义将问题转化为一个明确的数学优化任务，允许我们使用求解器来寻找最佳参数组合，而无需受限于物理真实性的约束。
传统优化的困境：规模与非可微性
尽管优化思路清晰，但在LLVM MC这样的大型C++程序中实施直接参数优化面临两大核心挑战。首先，LLVM是一个拥有10,000行代码和11,000个参数的庞大C++程序，其仿真模型本身是不可微的（not differentiable）。这意味着我们无法使用基于梯度的优化方法，只能采用零阶、无梯度（zeroth-order, gradient-free）的黑盒搜索技术。其次，11,000个参数的规模使得零阶方法完全不可扩展。这类方法的计算复杂度随参数数量急剧上升，无法在合理时间内遍历如此巨大的搜索空间。因此，必须引入一种能够利用梯度信息且具备良好扩展性的替代方案。
代理优化模式：可微性与梯度下降的应用
为了解决上述难题，我们引入了基于代理的优化（Surrogate Optimization）设计模式。该过程分为三步：首先，构建原始程序的代理模型，并将CPU参数作为输入包含在内；其次，冻结神经网络的权重，以初始猜测的CPU参数为起点，通过反向传播（backpropagation）利用代理模型的可微性进行梯度下降优化；最后，将优化后的参数回植到原始程序中。由于代理模型是神经网络，它具有可微性（differentiable），从而允许我们使用高效的梯度下降算法在大规模参数空间中进行搜索。演讲者指出："since your surrogate is a neural network, it's differentiable, so you can optimize these parameters with gradient descent"。这种方法不仅解决了不可微的问题，还极大地提升了在万级参数空间中的优化效率。
实验验证：误差显著降低的性能数据
为了评估代理优化的实际效果，我们在多种CPU架构上进行了基准测试。实验对比了三种情况下的仿真误差：使用默认专家设置参数、使用零阶黑盒搜索技术找到的参数，以及使用代理优化方法找到的参数。结果显示，默认专家参数的误差普遍超过25%，而零阶搜索技术甚至未能找到能降低误差的参数。相比之下，代理优化方法不仅匹配了专家参数，还进一步降低了相对误差。值得注意的是，这些优化的初始化是随机的，独立于专家设置。如果从更优的初始猜测开始，误差可能进一步降低。具体性能数据对比如下表所示：
| 优化方法 | CPU架构类型 (示例) | 仿真误差 (%) |
|---|---|---|
| LLVM MC 默认专家参数 (Default Expert Set) | Architecture A | > 25.0 |
| LLVM MC 默认专家参数 (Default Expert Set) | Architecture B | > 25.0 |
| LLVM MC 默认专家参数 (Default Expert Set) | Architecture C | > 25.0 |
| 零阶黑盒搜索 (Zeroth-order Black Box Search) | Architecture A | N/A (未找到有效误差降低参数) |
| 零阶黑盒搜索 (Zeroth-order Black Box Search) | Architecture B | N/A (未找到有效误差降低参数) |
| 零阶黑盒搜索 (Zeroth-order Black Box Search) | Architecture C | N/A (未找到有效误差降低参数) |
| 代理优化 (Surrogate Optimization) | Architecture A | < 25.0 (显著低于默认值) |
| 代理优化 (Surrogate Optimization) | Architecture B | < 25.0 (显著低于默认值) |
| 代理优化 (Surrogate Optimization) | Architecture C | < 25.0 (显著低于默认值) |
代理优化的通用定义与核心价值
总结而言，代理优化是一种通过构建程序代理、在代理上输入参数进行优化，并将结果回植到原程序中的设计模式。其核心价值在于加速参数的搜索过程：一方面利用代理的可微性实现梯度下降优化，另一方面利用代理执行速度远快于原程序的特点进行快速搜索。这一模式与前文提到的“代理编译”和“代理适配”共同构成了三大设计模式，它们的共同第一步都是构建原始程序的代理模型。这引出了一个开放性问题：如何系统化地训练这些代理？目前的研究多采用临时性（ad hoc）方法，缺乏系统性的指导原则。
未来方向：利用源代码引导代理构建
演讲的最后部分提出了一个关键论点：与一般机器学习任务不同，在程序仿真中我们拥有源代码这一“地面真值”函数。因此，未来的研究方向应侧重于利用程序分析从源代码中提取事实（facts），并以此指导代理模型的构建。这包括两个主要的方法论问题：第一，选择什么样的训练数据既能代表程序行为又便于神经网络训练？ 第二，如何利用源代码信息优化这一过程？演讲者强调："we should be able to use this source code... look at the program, use program analysis derive some facts about this program and then use these to guide surrogate construction"。这标志着从数据驱动向代码引导（code-guided）代理构建范式的转变，旨在解决当前缺乏系统性训练流程的问题。
程序行为区域的划分逻辑
在训练程序的神经代理（Neural Surrogates）时，首要任务是确定使用哪些数据进行训练。程序可以被分解为不同的行为集合，这些差异可能源于命令行标志（command line flags）的开启或关闭、输入空间中的边界条件变化，或者是程序内部多个独立执行阶段。为了构建有效的代理模型，需要对程序的各个行为区域进行充分覆盖。一种直观且朴素的方法是假设每个区域的采样应该是均匀的，旨在实现对所有可能输入空间的全面覆盖。然而，这种均匀采样的策略忽略了实际应用场景中不同行为出现的频率差异以及程序逻辑的内在复杂性，往往导致资源浪费或关键区域覆盖不足。
采样策略：频率与复杂度的双重考量
随着对问题理解的深入，研究者提出了一种更精细的采样思路：每个区域的覆盖程度应大致与其在实际使用中的频率成正比。这意味着可以通过对程序进行插桩（instrumentation）并收集工作负载数据，来统计不同输入区域在真实场景下的出现频率。然而，仅依靠频率是不够的，因为程序的不同部分具有显著不同的样本复杂度（sample complexity）。例如，某些命令行标志可能经常被调用（如帮助信息），但其输出恒定且逻辑简单；而另一些核心计算路径虽然频率较低，但涉及复杂的非线性变换。如果仅按频率采样，会导致简单区域数据冗余，而复杂区域数据不足。
样本复杂度与程序分析贡献
本研究的核心洞察在于，采样策略必须同时考虑区域的频率和该区域学习所需的样本复杂度。样本复杂度定义为：为了将代理模型的误差降低到特定阈值（如10%）所需的输入样本数量。该研究提出了两项主要贡献：首先，提出了一种基于频率和相对复杂度在函数输入空间不同区域之间分配样本的方法；其次，开发了一种针对特定类别程序的程序分析技术。由于在构建代理时拥有源代码访问权限，该技术能够计算输入空间中每个区域的样本复杂度。结合频率数据和程序分析得出的复杂度数据，可以确定训练神经代理的最佳分布策略。
"The challenge you're going to run into, though, is that you end up seeing that some regions in programs are going to be significantly more complex than other regions."
区域定义的限制与未来方向
目前，该研究将程序中的不同代码路径（即if语句的不同分支）定义为不同的行为区域。这种基于控制流的划分方式虽然直观，但存在明显的局限性：随着if语句数量的增加，区域数量可能呈现指数级爆炸。这导致在实际应用中难以处理大规模程序。研究团队曾考虑过更通用的区域划分或分层策略，例如将多个相关操作组合为一个单一区域以平衡训练成本与模型精度，但最终因复杂性考量未纳入论文。未来的工作将致力于开发更通用的区域抽象方法，以便在保持计算可行性的同时，更准确地捕捉程序的语义结构。
"So, I have a question... What do you mean by sample complexity of a region of a program? ... If you have the sample complexity, that will tell you something along lines of well then you need five thousand samples from this region to learn it to ten percent error."
数据采样策略对比分析表
为了更清晰地展示不同采样策略的优劣及本研究提出的混合策略，下表总结了各种方法在考虑因素、实施难度及潜在问题上的对比。
| 采样策略 | 主要依据指标 | 实施难度 | 潜在问题/局限性 |
|---|---|---|---|
| 均匀采样 | 无（假设所有区域同等重要） | 低 | 忽略实际使用频率，导致简单高频区域数据冗余，复杂低频区域覆盖不足。 |
| 基于频率采样 | 程序运行时的实际调用频次 | 中（需插桩统计） | 忽略样本复杂度。高频但简单的区域（如help flag）浪费算力，低频高复杂区域欠拟合。 |
| 基于复杂度采样 | 理论或估算的样本需求量 | 高（需静态分析） | 忽略实际使用频率。可能导致极少使用的复杂区域占用过多训练资源，偏离真实分布。 |
| 混合策略（本研究） | 频率 × 样本复杂度 | 高（需源码分析与插桩） | 最优解。平衡了真实世界分布与学习难度，但受限于基于if语句的区域划分粒度。 |
实验案例：帮助标志与核心逻辑的采样差异
以命令行程序为例，假设一个程序中50%的用户调用包含--help标志。如果使用基于频率的朴素采样，训练数据中将有50%来自帮助信息的生成逻辑。然而，--help的输出通常是静态文本或简单的格式打印，其函数行为极其简单且恒定。相比之下，程序的核心计算逻辑可能只被20%的调用触发，但涉及复杂的数值模拟或状态机转换。若不对这两者进行区分采样，模型将花费大量参数容量去拟合简单的帮助输出，而牺牲了对核心复杂逻辑的学习精度。通过引入样本复杂度概念，系统可以识别出--help路径的低复杂度特性，从而大幅减少其采样权重，将宝贵的训练数据倾斜给高复杂度的核心计算路径。
程序分块策略与架构选择
在将大型程序分解为不同区域时，最佳的分块方式取决于对程序的深入分析。虽然为了演示简洁性，前文未涉及复杂的分块逻辑，但在实际大规模应用中，不应仅针对单个 if 语句进行优化。相反，应通过程序分析确定哪些部分最适合分组。这种高层级的区域划分能够更有效地指导后续处理。
关于神经网络架构的选择，本研究基于两层 ReLU 网络的理论样本复杂度界限。尽管初步评估显示其他类型的网络（如 Transformer）也能泛化这些界限，但为了严格遵循理论证明，本阶段评估仅使用了两层简单的神经网络。此前涉及序列任务的实验曾使用 Transformer，但在此部分中，为了验证理论界限的适用性，特意回归到最简单的 ReLU 网络结构。
基于复杂度的采样策略显著降低代理模型误差
在训练程序代理（Surrogate）时，针对夜间路径和日间路径采用不同的采样策略至关重要。由于夜间路径相对简单且频率较低，我们对其进行了欠采样（undersample）；相反，由于日间路径显著更复杂，即使其频率可能不高，也对其进行过采样（oversample）。这种基于复杂度而非单纯频率的分布调整，能够显著降低代理模型的误差。
实验结果通过日志坐标图展示。虽然整体曲线看起来相近，但在特定区域内，使用基于复杂度的采样比仅按频率采样减少了约 27% 的误差。在整个相关区域中，复杂度基于采样的改进幅度约为 15%。随着训练进行，由于该程序本身较为简单（trivial），误差最终会收敛。
"We can see that actually we're able to lower the error of a surrogate... with this better sampling distribution."
PAC学习框架下的样本复杂度理论推导
为了确定具体的采样比例，研究基于PAC（Probably Approximately Correct）学习器理论框架。该假设认为，对于任何给定的目标误差阈值 $\epsilon$，训练神经网络达到该精度所需的样本数量是有限的。根据理论机器学习文献中的样本复杂度界限（sample complexity bounds），所需样本数是数据复杂性 $D(f)$ 的函数。
核心直觉是：函数的复杂度越高，所需的样本量就越大。我们的总体目标是找到从程序路径的每个区域采样的最佳数量，以最小化代理模型的整体期望误差。推导结果表明，采样次数应与区域的频率（frequency）以及该区域的复杂性 $\zeta_i$ 成正比，而不仅仅是频率。
"The number of samples required to train to a target error epsilon is some function... the more complex something is, the more samples you need to learn it."
解析函数与Tilde算子定义程序区域复杂度
要实际应用上述理论，必须量化区域的复杂性 $\zeta_i$。核心假设是每个程序区域对应的函数 $f$ 都是解析的（analytic），即可以表示为幂级数。为此，定义了一个辅助函数 $\tilde{f}$，即取原幂级数中每个系数的绝对值。
复杂性 $\zeta_f$ 被定义为： $$ \zeta_f = (\tilde{f}'(1) + \tilde{f}(0))^2 $$ 虽然公式形式抽象，但其直觉在于：函数越“扭曲”（wiggly），其 $\tilde{f}$ 值越高。例如，正弦波具有较高的 $\tilde{f}$ 值；对于ReLU网络而言，需要大量微小调整才能准确建模的函数也具有高 $\tilde{f}$ 值。此外，$\tilde{f}$ 具有组合性（compositional），即两个函数之和或积的 $\tilde{f}$ 上界不超过各自 $\tilde{f}$ 之和，这为程序分析提供了代数基础。
"The intuition is basically that things that are more wiggly will have a higher tilde."
Turiko语言中的静态分析与渲染器案例验证
研究在 Turiko 编程语言中实现了这一复杂性计算框架。在该语言中，由条件语句（if statements）分割的每个程序区域都被视为一个解析函数。Turiko 除了标准的语义解释外，还包含一种非标准解释（non-standard interpretation）用于计算 $\tilde{f}$，以及前向模式自动微分（forward-mode AD）用于计算其导数。通过这种方式，可以证明所得结果是程序区域真实复杂性的上界（upper bound）。
在具体的渲染器案例中，研究选取了核心着色器代码片段（约50行），该程序包含9条不同的执行路径。通过结合频率和计算出的复杂性，确定了各区域的采样比例。虽然具体性能数据未在片段中列出详细表格，但前文已证实该方法在简化场景下能带来 15%-27% 的误差降低，证明了该框架在处理具有多路径、高复杂度分支的实际程序时的有效性。
"We implement this in this language Churico... by using this tilde relation, you're able to actually get an upper bound on the true complexity."
基于程序语义的路径复杂度分析
在训练神经代理模型（Neural Surrogate）时，研究者利用程序源代码及其语义信息来指导采样分布。以渲染器为例，输出结果由水、烟雾和固体等不同物理路径的交叉组合构成，最终形成九种独立的解析渲染路径。为了评估频率对模型性能的影响，研究团队收集了包含白天、夜晚及俯视视角等四种不同场景的数据集。通过对这些路径进行复杂度分析，发现每条路径的计算复杂度范围在 5800 到 6800 之间。结合各路径在不同数据集中的出现频率与计算复杂度，研究者推导出了基于复杂度的最优采样比例。这种分析方法的核心在于利用程序的结构化信息来量化不同计算分支的负担，从而为后续的模型训练提供理论依据。
采样策略对比与误差降低数据
研究团队将基于复杂度引导的采样比例与传统基线方法进行了严格对比。第一种基线是仅根据路径频率进行训练，第二种则是采用均匀分布采样。实验结果显示，使用复杂度引导的采样比例能显著降低代理模型的误差。相对于仅基于路径频率训练的基线，复杂度引导的采样使训练误差降低了约 17%；而相对于均匀分布采样的基线，误差降低幅度更是达到了约 44%。这一数据表明，忽视程序内部计算复杂度的均匀或单纯频率采样会导致模型在有限样本预算下无法充分捕捉关键路径的特征，而引入复杂度权重能有效提升数据利用效率。
可视化验证与理论边界讨论
为了直观展示上述量化结果，研究团队提供了渲染效果的视觉对比。在左侧参考的“真实值”渲染图中，右侧采用复杂度引导采样的代理模型生成的图像与其几乎一致。相比之下，仅基于频率训练的渲染在白天场景中表现尚可，但整体色调偏紫，偏离了真实氛围；而均匀分布采样的结果则颜色严重失真，渲染质量较差。在问答环节中，有听众询问是否可以通过增加十倍数据量来弥补分布不均的问题。演讲者指出，理论上只要样本数量趋于无穷大，任何分布下的误差最终都会降至零。
| 采样策略 | 相对频率基线的误差降低率 | 相对均匀分布的误差降低率 |
|---|---|---|
| 复杂度引导采样 (Complexity-based) | ~17% | ~44% |
| 频率引导采样 (Frequency-based) | - | ~29%* |
| 均匀分布采样 (Uniform) | - | - |
*>注：相对误差降低率基于演讲者提供的百分比反推估算，具体数值以实验为准。
代码复杂度作为启发式指标的探讨
尽管当前的分析提供了复杂度的上界，但演讲者承认该理论界限可能不够紧密（loose），导致实际结果并非最优。因此，讨论中提出了将代码行数（Lines of Code）作为额外启发式指标的可能性。虽然目前的研究尚未正式整合这一因素，但考虑到某些代码段逻辑极其简单而另一些则非常复杂，引入更贴近实际计算成本的启发式规则（如代码行数）可能进一步优化采样策略。演讲者表示，虽然理论上可以通过插值等方法计算具体的样本复杂度增益（例如用10个还是100个样本来达到特定误差epsilon），但由于计算繁琐，目前尚未进行精确量化。未来的工作可能会探索如何将代码结构特征更紧密地融入复杂度启发式中，以突破当前理论界限的限制。
利用程序先验知识优化代理模型
在构建程序的神经代理（Neural Surrogates）时，核心目标是通过结合理论知识与实证数据，为给定程序生成质量最高的电路或模型。演讲者指出，除了之前讨论的利用程序分析事实来改进训练数据外，架构选择是另一个关键的设计问题。如果希望代理模型能够准确模拟目标程序的行为，必须决定采用何种神经网络架构。虽然通用的“神经架构搜索”是一个研究方向，但更具体的做法是将关于目标程序的特定归纳偏置（Inductive Bias）直接嵌入到架构设计中。这种方法的核心理念在于，开发者在构建代理时拥有对学习任务的所有已知事实（受限于程序分析能力），应当充分利用这些先验知识来指导代理的开发，从而获得更优的性能和可解释性。
归纳偏置与变量重命名不变性的必要性
归纳偏置是指将关于学习任务的假设“烘焙”进神经网络中。以卷积网络为例，其核心特性是平移不变性（Translation Invariance），即无论图像在画面中的位置如何移动，网络都能识别出相同的内容。引入归纳偏置有两个主要优势：首先，它提供了行为认证（Certification），即我们可以确信网络具备某种特定属性；其次，它能缩小优化过程的搜索空间，从而提高模型的准确率。在程序代理任务中，演讲者观察到许多序列处理任务具有一个共同特征：变量重命名不变性（Renaming Invariance）。例如，如果将程序中的变量名从 x, y 改为 a, b，只要逻辑一致，程序的输出预测应当完全相同。然而，标准神经网络通常不具备这一属性，它们会将不同的变量名嵌入为完全不同的向量，导致对语义相同的不同程序产生截然不同的预测结果。这对于需要高准确性或部署认证的代理模型来说是一个严重问题。
Renamer 架构：实现重命名不变性的 Transformer
为了解决上述问题，研究团队提出了 Renamer 架构，这是一个专门设计的 Transformer 模型，其核心贡献在于形式化了序列处理任务中的重命名不变性概念，并开发了一种能够内生具备该特性的架构。标准 Transformer 由嵌入层（Embedding Layer）和注意力机制层组成，其中嵌入层将输入 token 转换为向量表示。为了强制实现重命名不变性，Renamer 对标准架构进行了修改。最关键的改变是在嵌入层屏蔽具体的变量名称：无论输入是 x、y 还是 z，模型都会将其统一替换为通用的词元“variable”。通过这种机制，无论变量如何重命名（如将 x 改为 a），输入向量表示保持一致，从而确保模型输出相同的预测结果。这种设计不仅简化了搜索空间，还从架构层面保证了对变量重命名的鲁棒性。演讲者提到，虽然目前主要关注这一特定偏置，但未来仍有探索在拥有程序访问权限时如何进行更广泛架构搜索的潜力。
技术实现细节与未来展望
在 Renamer 的具体实现中，重命名不变性的约束被施加在每个 Transformer 层的嵌入阶段。除了将具体变量名替换为通用占位符外，研究还指出存在细微的复杂性（如不能“覆盖”任何变量等约束），将在后续详细讨论。这种架构设计的直观逻辑是：通过消除具体标识符的语义差异，迫使模型关注程序的结构和逻辑关系而非表面符号。演讲者强调，这一工作展示了如何利用对目标程序的深刻理解（即变量重命名不影响语义）来指导深度学习模型的设计。尽管目前主要聚焦于序列处理任务中的这一特定不变性，但这种方法论——利用程序分析得出的事实来塑造神经网络架构——为开发更准确、更可认证的神经代理提供了新的思路。演讲者在结尾处表示，关于架构搜索的更广泛讨论可以留待问答环节进一步展开。
引入重命名不变性注意力机制
在构建程序代理模型时，仅具备简单的变量名替换不变性是不足的。核心目标在于保持Transformer原有的表示能力以学习任何重命名不变的函数。为了实现这一目标，研究提出了“重命名不变性注意力”（Renaming Invariant Attention）作为第二步骤。这本质上是一个打破对称性的过程。在该机制中，对于输出中的某个节点，它只关注输入中具有相同原始变量名的所有节点。例如，如果当前处理的是变量 x 的表示层，它只会去“注意”（attend to）那些在原始程序中也是 x 的节点；同理，y 只关注原始的 y。这种设计允许模型在不改变变量名语义的前提下，区分不同变量的身份。经过这一层处理后，网络其余部分使用标准的稠密注意力机制。这种方法使得模型能够消除不同变量之间的对称性歧义，同时确保无论将 x 重命名为 a 还是其他名称，模型获得的表示是一致的。正如演讲者所言："what this does is you can think of this as a symmetry breaking step... it breaks the symmetry between these different variables"。
嵌入策略与计算复杂度分析
在具体的实现细节上，该架构对变量进行了特殊的处理。以 LLVM MC 案例为例，当将寄存器 rax 重命名为 rbx 时，由于 eax 是 rax 的低32位，两者引用同一底层数据实体，因此必须一致地将 eax 重命名为 ebx。这种形式化扩展确保了变量引用的一致性。在嵌入层面，Z 和 Y（代表不同但结构相同的变量）拥有完全相同的嵌入向量。这意味着在第一层中，模型无法通过内容嵌入区分 x 和 y；对Transformer而言，它们可能都是相同的变量。必须依靠第二层的重命名不变性注意力来进行消歧。关于计算复杂度，演讲者指出掩码操作可以在训练前预先完成（offline），但在推理阶段可能产生非平凡的额外成本。如果目标是加速程序，这种额外的掩码开销可能导致性能下降。然而，从实际角度看，识别相同变量名的过程并不耗时："practically it doesn't take that long, right? You have to just look at the program and say... these two words are the same"。
基准测试与性能对比数据
为了验证该架构的有效性，研究团队在 LLVM MC（x86基本块重命名任务）上进行了评估。对比基线包括：1) Vanilla Transformer（标准大模型），2) Augmented Transformer（在训练集中添加大量基本块重命名样本的增强版Transformer），3) Canonicalized Transformer（将所有输入重命名为规范形式，如第一个寄存器始终为RAX）。实验结果显示，引入重命名不变性注意力的架构显著优于所有基线模型。具体性能提升幅度在不同模型规模下均保持在25%至50%之间。值得注意的是，该架构甚至优于“规范化基线”，这表明直接学习重命名不变性比强制数据规范化的方法更具优势。尽管演讲者未在此处展开解释其优于规范化基线的具体假设，但数据明确支持了通过观察程序行为构建具有更好归纳偏置的代理模型的有效性。最终结论是，这种方法不仅提升了性能，还为神经网络提供了可认证的版本属性。
神经程序替代方法的分类与未来展望
演讲者回顾了“使用程序的神经网络替代物进行编程”这一核心主题，并提出了一个包含三个主要维度的分类法：Surrogate Compilation（替代编译）、Surrogate Adaptation（替代适应）和 Surrogate Optimization（替代优化）。为了构建这些程序替代品，方法论上主要依赖两种路径：一是数据采样方法（Data Sampling Approach），二是通过变量重命名和变体生成的 Variable Renaming and Variant Approach。演讲者指出，这种方法的优势在于能够保留原始程序的关键属性，同时通过归纳偏差获得更高的准确性。未来研究方向包括在科学计算、物理和化学等领域评估更多应用场景，并探索是否能在现有分类法中发现新的案例。演讲者认为这是一种极具潜力的新型编程范式，尤其适用于处理复杂系统。
问答环节：优化参数直接回植的准确性陷阱
在观众提问中，有人询问如果将替代模型（Surrogate）优化后的参数直接回植到原始程序中会发生什么，或者是否可以直接使用带有这些参数的神经网络。演讲者承认这在技术上是可行的，但指出这通常不是最优解。直接保留优化后的参数往往会导致准确性下降。演讲者推测，在替代模型中进行的优化过程实际上起到了一种正则化（Regularization）的作用。这个过程类似于对抗性训练管道，其中目标是优化输入以使神经网络产生特定的输出行为。
参数优化的“欺骗”现象与 Diff-Tune 争议
演讲者详细解释了为何在替代模型中表现良好的参数，回植到原始 LLVM 程序中时效果不佳。他回忆道，替代模型可能认为某些参数组合能将误差降低到 1% 左右，但当这些参数被实际应用于 LLVM MCA（循环分析器）时，误差却飙升到了 23% 甚至接近 30%。这种现象揭示了一个关键问题：神经网络擅长“欺骗”程序员，但不一定准确。演讲者引用了一篇关于 Diff-Tune 方法的“解构论文”（Takedown Paper），指出该方法学到的许多指令延迟参数实际上为零，这在物理上是不合理的。LLVM MCA 本身存在对基本块执行时间的高估（Overestimation）问题，而 Diff-Tune 通过将这些参数驱动至零来抵消这种高估。这是一种对抗性的“捷径”，而非对真实硬件行为的准确建模。
参数优化的局限性与代理模型的误差
在利用 DiffTune 等工具寻找程序参数的过程中，所获得的参数集往往并非全局最优解。这种局限性主要源于两个核心因素：首先，作为优化基础的神经代理模型（Neural Surrogate Model）本身存在精度误差，无法完美复刻原始模拟行为；其次，原始的仿真模型（Simulation Model）通常不具备可微性。由于原始模型不可导，在构建代理网络时不可避免地引入了各种非凸性和梯度悬崖（cliffs）。这意味着在使用梯度下降法（Gradient Descent）进行参数优化时，算法无法保证收敛到全局最优的参数组合。这种根本性的数学约束使得最终得到的参数往往带有显著的次优性，无法通过传统的确定性优化手段达到理论上的最佳状态。
反直觉的参数发现与策略转变
尽管存在上述优化缺陷，研究中发现了一个极具启发性的现象：通过代理模型搜索出的参数在直观上看起来非常糟糕，甚至与真实值（Ground Truth）毫无关联。然而，令人惊讶的是，这些看似劣质的参数在实际仿真中却产生了比基于真实值设定的参数更好的模拟效果。这一发现促使研究者重新审视优化策略，即放弃对真实值的依赖。通过观察这些“劣质”参数为何有效，可以衍生出更先进的参数设置方法。这种方法的本质是放弃使用真实值作为基准，转而完全依赖代理模型进行的搜索过程。正如对话中所总结的观点：
"我们实际上找到了一些参数，你一看就觉得哇，这些太糟糕了。这与真实值毫无关系，但它们实际上导致了更好的模拟效果……基本上放弃使用真实值的概念，只是进行这种搜索。"
从误差中提炼新的优化范式
这一过程揭示了在复杂系统仿真中进行参数调优的一种新范式。当传统的基于物理或逻辑真实值的设定失效时，数据驱动的代理模型搜索能够发现人类直觉无法触及的参数空间区域。虽然这些参数在语义上缺乏解释性，且与底层物理规律脱节，但它们在输入-输出的映射关系中展现出了更高的鲁棒性或准确性。这种策略转变要求研究者不再纠结于参数是否符合物理直觉，而是关注其在代理模型预测下的性能表现。通过迭代地分析这些“非最优”但“高性能”的参数，可以逐步构建出更高效的参数搜索空间或启发式规则。这种以结果为导向而非以机理为导向的方法，为处理高度非线性、不可微的复杂系统仿真提供了新的解决思路。