从加密货币到AI：Nvidia战略重心的转移
作者回顾了自己自2012年AlexNet发布以来从事深度学习的经历，指出过去十年是硬件架构与优化器代码紧密共演（co-adaptation）的过程。在2019-2020年之前，Nvidia主要关注每瓦特浮点运算次数（FLOPs per jewel），这一策略与当时硅谷热门且高利润的加密货币挖矿需求高度契合，特别是以太坊（Ethereum）的计算特性。作者提到其公司Focal Systems曾获得Nvidia支持，但当时Jensen Huang对AI的关注度远不如现在。在2020年之前，Nvidia的核心焦点在于通过提升算力密度来服务加密货币市场。
"My understanding is that he really didn't care about AI at all until 2020."
然而，随着GPT-3（甚至更早的GPT-2）的出现，Transformer架构对内存容量和带宽的巨大需求迫使Nvidia调整战略。自2020年起，硬件设计重心从单纯的计算效率转向了内存容量与带宽，因为Attention机制的复杂度为O(n²)，导致数据搬运成为瓶颈。这种转变使得硬件架构与软件优化器的适配进入了一个新的阶段，但也带来了能效比的停滞。作者指出，只要硬件能产生足够的FLOPs，能源消耗似乎被忽视了。这种对内存带宽的过度追求导致了每瓦特算力提升在近两年的停滞。
当前硬件能效瓶颈与Transformer的局限
尽管Nvidia推出了如Ampere等新一代架构，但作者认为目前的硬件演进路径存在严重问题。过去两年中，每瓦特GFLOPs的提升几乎停滞不前，这表明仅靠改进现有GPU架构已无法持续降低训练和推理成本。当前的硬件设计往往试图同时满足训练芯片和推理芯片的需求，导致资源错配。现有的专用化趋势虽然存在，但大多仍局限于优化Transformer架构。
作者批评当前的芯片设计过度依赖SRAM或HBM等高容量内存，而忽略了更本质的能效问题。人类大脑仅消耗约20瓦特的功率（相当于一盏灯泡），却能执行极其复杂的认知任务，这与当前数据中心巨大的能耗形成鲜明对比。要达成人类水平的智能计算成本必须大幅下降，而现有的硬件路径无法实现这一目标。作者认为，继续沿着Transformer和GPU的路线走下去，只会导致能源浪费加剧而性能边际效益递减。我们需要寻找一种全新的计算范式。
反向传播的生物学谬误与脑启发架构
作者基于其博士期间对大脑工作机制的研究，提出了一个激进的观点：反向传播（Backprop）将在10年内被淘汰。他指出，大脑是大规模前馈网络（massively feed-forward），并不具备反向传播所需的物理机制。在生物神经系统中，信号只能向前传递；若要实现类似反向传播的权重更新，神经元必须先关闭再逆向 firing，这在生物学上是不可能的。大脑中不存在反向传播所需的激活值存储与回传机制。
"The human brain draws like 20 watts. That's like a light bulb."
作者进一步解释了Hebbian学习等生物学习模型面临的"权重传递问题"（weight transfer problem）：前向传播与反向更新需要精确的对称性，这在生物结构中难以实现。虽然通过引入激活机制可以模拟某些循环图结构，但这并非真正的反向传播。大脑中还存在大量的抑制性连接和皮层柱（cortical columns）结构，这些重复的神经组装体通过强烈的抑制作用独立学习。这种经过45亿年进化优化的架构，为未来的计算提供了希望。利用大脑已经解决的高效、低能耗并行处理机制可能是突破当前瓶颈的关键。
光计算：消除光电转换的能耗浪费
除了脑启发架构，作者还探讨了光学计算的潜力。他指出当前数据中心存在巨大的能效损失：数据在光、电之间频繁转换，导致99.99%的能量被浪费。目前的数据流通常是：光信号传输 -> 交换机转换为电信号处理/路由 -> DAC转换回光信号发送 -> ADC再转回电信号。这种反复的光电/数模转换过程消耗了绝大部分能量。
"Why don't we just do the whole thing in light and it would be instantaneous and it would draw no watts."
作者主张直接在整个计算过程中使用光信号处理，避免光电转换带来的巨大能耗。如果能够实现全光学计算，不仅速度将是瞬时的（instantaneous），而且功耗将趋近于零。这种架构彻底摒弃了传统电子芯片中昂贵的转换环节，直接利用光的物理特性进行并行计算。虽然目前仍处于探索阶段，但光计算被视为解决当前AI算力能耗危机的潜在正确路径之一。全光学架构有望从根本上重构数据中心的能效比。
光计算与神经形态计算的硬件特性对比
当前人工智能的底层硬件探索主要集中在几个方向，其中光计算（Optical Computing）因其独特的物理属性而备受关注。演讲者指出，虽然利用光子进行计算的成本极低，几乎可以视为“免费”，且带宽近乎瞬时，但在光介质中存储比特（Bits）极其昂贵且困难。这种特性导致基于光的反向传播难以直接实现，因为存储和反馈回路是瓶颈。相比之下，神经形态计算（Neuromorphics）试图在模拟电路中模仿大脑的工作方式，而传统的基于铜线的神经形态方案虽然带宽可能不如光，但在某些场景下更具可行性。演讲者强调，不同硬件 substrate 具有截然不同的属性：光计算擅长高速并行前向传播（Forward Pass），但不适合存储；而 VRAM 的成本高昂，带宽受限。因此，选择何种硬件取决于算法对前向传播与反向传播/存储的依赖程度。如果未来能解决光中的存储问题，前向计算的巨大优势将释放出来。
零阶优化算法 SPSA 的原理与优势
在硬件受限的情况下，替代反向传播（Back Propagation）的优化算法成为关键。演讲者分享其在博士期间对非梯度方法的研究，最终发现SPSA（Simultaneous Perturbation Stochastic Approximation）是表现最佳的学习更新规则。该方法无需计算梯度，而是通过随机方向上的扰动（Perturbation）来估算优化路径。具体而言，模型参数 θ 会在随机方向 ε 上进行“加”和“减”的前向传播，通过计算有限差分（Finite Difference）来更新参数。如果差分为零，则不调整；若差异巨大，则大幅缩放该方向。SPSA 的核心优势在于它完全不需要梯度，因此能够轻松优化非光滑（Non-Lipschitz）的损失景观。在著名的“函数”测试中，反向传播容易陷入局部极小值，而零阶方法能迅速找到非光滑碗状底部的最优解。这种算法对模型架构的平滑性要求极低，为使用 LSTM 等非 Transformer 结构提供了理论支持。
Soma Sharded Optimization：模型分片与扩展定律
基于零阶优化的特性，演讲者提出了Soma Sharded Optimization（体部分片优化）的概念。由于零阶优化的梯度估计误差随模型规模线性增长，直接训练十亿级参数的大模型在计算上不可行（需要过多的扰动次数）。然而，通过将大模型拆分为多个小型专家网络（如 41K 参数的 LSTM），并将数据分片分发到全球不同的 GPU 上训练，可以显著降低噪声。每个小专家模型产生的梯度误差被其规模限制在一个可控范围内，每步仅需约 64 次扰动即可有效工作。这一发现揭示了一个新的扩展定律（Scaling Law）：除了已知的通过增加批量大小来减少噪声外，模型分片程度越高，优化效果越好。在测试阶段，通过一个轻量级路由器将所有专家模型的结果聚合。这种“混合模型”而非单一层的架构，利用了光计算前向传播极低的成本优势（仅需光束通过），使得这种分片训练策略在光计算硬件上具有极高的可行性。演讲者表示，如果这一路径成功，将证明其博士研究的价值；若失败，则说明应坚持使用反向传播。
演讲嘉宾背景与光学计算愿景
本次讨论由斯坦福大学博士后、双E学位（半导体与纳米光子学）持有者Alok引导，他目前管理着一支15亿美元的基金，专注于前沿早期投资。另一位关键人物Sean拥有神经形态学硕士学位，是Parasma公司的CEO（公司名源自Dota游戏中的物品）。演讲者Alok指出，虽然目前数据通信主要依赖光学技术且效率极高，但核心议题在于如何利用光进行计算。他强调光子携带信息的能力远超电子，这是光学通信成为AI数据中心机架间及洲际数据传输主流方案的根本原因。光子相比电子具有约10,000倍的更低损耗和10,000倍更大的带宽，因此在传输距离超过一米时通常会将信息转换为光子。然而，既然光学在传输上如此高效，为何不直接用于处理信息？目前电子处理器正从高精度32/64位向低比特深度转变，而光学通信支持更高比特深度，两者在AI驱动的低精度需求下正迎来接口融合点。> "Photons has compared to electrons has about 10,000 times lower loss and 10,000 times larger bandwidth compared to electrons."（光子相比电子具有约一万倍的更低损耗和更大带宽。）
光学计算的并行优势与能耗原理
光学计算的核心物理优势在于其天然的 massively parallel（大规模并行）特性。由于光子之间互不干扰，同一空间内可共存无数光束而不互相影响；相比之下，电子电路必须为每个信号定义独立路径。在计算原理上，传统电学矩阵向量乘法需对导线充电、晶体管效应及放电，每一步都消耗能量，其能耗与输入输出维度n的平方（$n^2$）相关。而光学计算通过调制器直接将输入信息加载到光路上，光线穿过被动权重掩模（weight mask），无需额外主动能量即可调制光束。最终结果通过物理叠加在探测器上求和并直接读取。光学计算的能耗与输入或输出单元数量n呈线性相关，而非$n^2$。尽管Lightmatter等公司已推出性能与GPU相当且能效更高的电光PCIe板卡，但光学计算尚未普及。深入分析其能耗预算发现，光子学本身仅占整体系统能耗的一小部分。这意味着真正的瓶颈不在于光计算单元的效率，而在于数据进出该单元的辅助过程。
模数转换与非线性激活的挑战
光学计算未能广泛普及的主要障碍在于数字-模拟-光域转换的巨大能耗代价。当前模型存储于电子内存中，若要在光学单元处理，需先将数字信号转换为模拟/光域；计算完成后又需将结果转回数字存储。这种频繁的转换过程在能耗预算中占据大头，抵消了光学计算本身的能效优势。此外，编程与校准这些设备也需要主动消耗能量。更严峻的挑战来自AI工作负载中的非线性需求：被动光学元件擅长大规模线性运算，但缺乏像晶体管或数字电子那样易于访问的非线性激活函数机制。虽然研究团队曾尝试使用多模光纤中的高强度短脉冲光，利用光与物质相互作用产生光学非线性效应来实现激活函数，但这增加了系统的复杂性。因此，演讲者得出结论：在初期阶段，必须仔细选择用例和算法，以在光学机器上创造出相比电子学的实质性优势。> "One of our tries was that we used short pulses of very intense light in multim mode fibers and the light matter interactions there created optical nonlinearities. But as you can see it adds another layer of complexity to have these nonlinear activations."（我们的一种尝试是在多模光纤中使用高强度短脉冲光，那里的光与物质相互作用产生了光学非线性。但正如你所见，这增加了拥有这些非线性激活的复杂性。）
扩散模型原理与电子硬件的冗余困境
扩散生成式模型的核心机制在于通过训练好的神经网络，将随机分布的数据（如像素、动作或视频）逐步转化为目标数据分布。以图像生成为例，模型从一组随机像素出发，反复应用神经网络进行去噪或生成推理步骤。随着迭代次数的增加（有时单次图像采样需上千步），随机噪声逐渐被消除，最终生成清晰且逼真的图像。
然而，演讲者指出，使用通用电子硬件执行这一任务存在巨大的冗余性。因为我们需要在同一个通用处理器上反复运行相同的神经网络权重，这种重复计算导致了效率低下。为了解决这一问题，团队提出了一种基于光传播物理特性的应用专用无源设备方案。利用光学系统内部的物理传播特性来执行扩散过程中的每一步，从而避免在通用硬件上重复进行相同的计算操作。通过迭代这一光学架构，系统可以从随机像素分布开始，仅依靠物理定律的作用生成符合目标数据集的新样本。
光学系统架构与固定权重策略
该光学系统的核心在于定义目标函数并让物理系统进行设计，以执行特定任务。系统接收带有噪声的样本作为输入，目标是输出预测的噪声项。光在通过由调制相位的透明层组成的系统时发生衍射，只有我们期望保留的信息被传输。通过反复使用该系统并减去预测的噪声项，最终得到干净的图像。
针对光学器件难以动态编程或更改权重的特性，团队设计了一种特殊的生成算法。将10,000个时间步划分为每100步一个子单元，并为每个子单元保持参数固定。这意味着如果拥有10个这样的设备，可以将激活值依次传递给下一个设备进行后续处理。在整个过程中无需更改物理硬件上的任何权重，即可通过不同阶段的去噪完成整个流程。这种设计巧妙地规避了光学计算中权重更新困难的问题，转而利用硬件的静态特性。
实验结果、扩展性与能效优势
在MNIST数字和Fashion-MNIST等小型数据集上，该光学设备表现出与扩散模型相似的行为。随着衍射层数或每层层像素数量的增加，系统显示出类似于数字神经网络的幂律缩放行为。这表明随着参数量的增加，图像质量预期会改善。更重要的是，光学计算承诺在添加更多参数时，能耗的缩放更为理想。实验数据显示，与商业GPU上性能相似的数字神经网络模型相比，在生成单张图像时，光学系统具有显著的能效优势。尽管实验原型使用了空间光调制器（SLM）和镜子进行快速迭代，但未来目标是制造固定的微加工层以实现真正的无源计算。
硬件与算法协同设计的未来展望
演讲总结强调，光的传播可以被编程以应用于特定的AI任务（如基于扩散的图像生成）。光学计算的机会在于硬件和算法的共同设计。在本研究中，团队通过手动调整生成算法，确保重复使用相同的权重多次，从而充分发挥光学的优势。下一步的关键里程碑是展示端到端的系统。
"The bottom line is that when we took this small model and compared with similarly performing models on the digital neural network on a commercial GPU what we have seen is that for generating a single image we had a significant energy performance energy advantage when we used our optical system."
"I believe the opportunity in optical computing is through designing hardware and algorithms together. In our case, we hand tuned our generation algorithm and we made sure that we repeatedly use the same weights over and over again so that we can really tap into the area where optics is useful."
"Finally, um the points that I want to make in this presentation is that we could show that propagation of light can be programmed for an application specific relevant AI task which is in noising diffusion based image generation."
大规模扩展下的能效验证
在探讨光子计算硬件的潜力时，核心挑战在于证明其在超大规模模型中的优势并非仅存在于小规模实验。演讲者指出，必须将测试规模提升至十亿参数级别（billion parameter scale），才能确凿地宣称能量优势和延迟优势在系统扩展时依然有效。研究团队展示了初步前提，即随着参数数量的增加，模型性能预期会提升，这与数字神经网络的表现趋势一致。这种规模化的验证是证明光子加速器从实验室走向实际应用的关键一步，旨在消除人们对“小样本有效但大规模失效”的疑虑。
光电子接口的精度瓶颈与商业转型
在实际工程落地中，模数转换器（ADC）和数模转换器（DAC）的分辨率与精度是主要障碍。一位曾参与NY Light Matters项目、致力于开发首个AI光子硅加速器加速器的专家分享了经验，指出ADC/DAC子系统负责处理张量运算的卸载。然而，转换精度不足会导致预测正确率随时间推移而下降。这一技术瓶颈直接影响了产品的现场运行表现，导致该项目最终未能继续推进其多光谱计算臂的研究。相反，公司转向了HBM（高带宽内存）互连技术。这一案例表明，在通用计算硬件中直接替代CPU面临巨大困难，因为当传输的数据量远超参数数量时，光电转换的劣势会压倒优势。因此，初期应用更倾向于专用集成电路（ASIC）类型的方法，通过最小化位深度、精度或数据率来规避接口瓶颈。
反向传播的数字孪生与循环优化策略
针对光子计算如何处理反向传播（Back Propagation）的问题，目前的解决方案并非在光学域内完成复杂的梯度计算，而是采用全数字孪生校准。具体而言，前向传播可以在光学系统中高效完成多次迭代（如扩散模型中的多个时间步），但反向传播仍在数字电子电路中进行。尽管这保留了当前最大的瓶颈（即数字计算部分），但通过减少前向传播的I/O开销，整体效率仍得到提升。此外，讨论中提出了一个有趣的未来方向：将扩散模型视为教师强制（teacher-forced）的RNN。如果能在光学或模拟系统中实现信息的长时循环，减少与数字环境的接口交互次数，优势可能从当前的7倍扩展至数百倍。这种“在光域内循环”的思路旨在进一步压缩光电转换的频率，从而最大化光子计算的能效比。
制造物理限制与波长复用技术
从计算机架构师的角度看，光子芯片的物理尺寸受限于光的波长。与电子相比，可见光波长远大于晶体管特征尺寸（纳米级 vs 微米级），导致光子单元的尺寸较大。然而，通过波分复用（WDM）技术可以弥补空间密度的不足：在同一物理单元上利用数百种不同波长编码不同的权重，实现维度复用。关于光学存储，虽然CD/DVD等介质适合归档，但缺乏快速、廉价的读写机制。历史上尝试的全息存储和光折变材料因成本和高昂的可访问性要求，未能撼动电子存储的地位。因此，当前的策略是接受光电混合架构：利用光学进行高速矩阵乘法等线性运算，而将非线性激活和存储保留在电子域或通过其他低成本方式解决。这种应用特定且权重固定的设计思路，是为了在物理限制下找到最具性价比的计算路径。
光计算中的相变材料与存储挑战
在探索替代传统GPU的光学计算方案时，权重数据的处理与保持是一个巨大的工程难题。由于在光学域中重写或存储权重的成本极高，研究人员正在寻找新的材料解决方案。相变材料（Phase Change Materials）成为了一条重要的研究线索，这类材料不仅应用于电子领域，也被尝试用于光学器件中。尽管存在多种技术路径的尝试，但目前的现状是：没有任何一种方案能像NAND闪存或基于电子的内存那样普及且易于使用。这意味着，虽然相变材料提供了潜在的解决思路，但在可及性和易用性上仍与主流电子存储技术存在显著差距。
利用偏振光实现非线性运算的构想
针对“光线难以处理非线性”这一痛点，有观点提出利用偏振滤波器（Polarized Filters）来构建非线性响应。光具有多种自由度，除了常用的强度（Intensity）和相位（Phase），偏振度（Polarization）是另一个重要的维度。当对光的偏振进行调制时，这种变化最终会体现在振幅域上，而传感器通常检测的就是振幅。因此，偏振操作可以表现为一种非线性效应。正如讨论中所言：
"Polarization is another one... any manipulation there actually would manifest itself on the amplitude domain which we generally use with our sensors or detect with our sensors as a nonlinearity."
然而，将这一概念应用于深层神经网络仍面临挑战。虽然单次滤波能产生非线性响应，但在构建多层网络时，如何确保每一层都能持续有效地维持这种非线性特性尚不明确。目前关于这一方向的大规模研究较少，因此利用偏振自由度进行深度非线性计算仍是一个值得探索的有趣方向。
神经形态计算的起源与大脑的奇迹
演讲者Aloque指出，当前是构建新型计算机的最佳时机。他回顾了神经形态计算（Neuromorphic Computing）的起源：20世纪80年代末，随着神经生物学对大脑工作机制理解的深入以及电子技术的进步，Caltech的Carver Mead提出了这一概念。Mead被誉为半导体行业的教父之一，他及其团队开始将大脑的工作原理映射到电路模型中。神经形态计算的核心在于借鉴大脑的组织原则来设计芯片和电路，尽管该领域对定义的理解各异，但有几个高层级的大脑属性是共识基础。
大脑被视为进化工程的奇迹，其优势体现在多个方面： 1. 多模态与实时性：大脑能同时处理语言、推理和创造力，具备视觉、听觉及物理实体感知能力。例如，在与他人对话时，大脑能预先计算回复内容，实现毫秒级的响应。 2. 终身学习与无上下文窗口限制：大脑没有“上下文窗口”的限制，能持续适应和学习新事物。即使面对进化中未预见的对象（如汽车、电脑），大脑也能通过极少数的样本（Few-shot Learning）快速掌握。例如，16岁的青少年只需看一两次停车标志，就能以极高的准确率终身识别它；而自动驾驶汽车则需要海量不同角度、光影的数据才能可靠识别。 3. 极低的能耗：大脑仅消耗约20瓦的功率，相当于一个iPhone充电器的功耗。
神经形态计算的核心原理：存算一体与事件驱动
与传统数字电子不同，大脑的计算机制具有独特的属性。首先，存储与计算是交织在一起的（Intertwined Memory and Computation）。在大脑中，连接本身具有记忆和权重，这些权重直接参与计算过程，而非仅仅作为信号传输的通道。这种特性在传统的数字电子架构中是不存在的。
其次，大脑通过事件（Events）进行通信和状态转换。这种机制被称为“尖峰”（Spikes）。大脑是一个连续运行的机器，接收感官输入后生成并传播尖峰信号。这些尖峰是驱动计算的引擎，其特性难以用传统的计算方式完美镜像。从电路角度看，这是一种混合信号（Mixed Signal）系统：它既包含数字部分的特征，也保留了模拟计算的连续性。这种基于事件和存算一体的架构，正是神经形态计算试图在硬件层面复现的关键特征。
大脑的可塑性：结构与功能的双重适应
人类大脑的工作机制极其独特，它并非简单的模拟或数字电路组合，而是一种逻辑与物理层面同时适应经验变化的系统。当我们学习新事物时，大脑不仅在功能上进行调整，其物理结构也在不断重新布线（rewiring）。这种动态适应性是现有芯片技术所不具备的，因为现代芯片在制造完成后其结构就是冻结（frozen）且固定的。相比之下，大脑能够根据经历实时改变自身的连接方式，这种 remarkable occurrence（非凡现象）为计算架构的设计提供了全新的灵感来源。人们试图将大脑的这一特性应用到芯片设计中，最直接的致敬便是“神经网络”这一名称的由来。
脉冲神经元的混合特性：介于模拟与数字之间
为了理解这种灵感的具体形态，我们可以观察一个脉冲神经元（spiking neuron）的玩具模型。这种行为既不完全模拟也不完全数字，对于电路爱好者而言，可以将其想象为一个漏电容（leaky capacitor）。当输入脉冲进入时，神经元膜上的电荷会积累；然而，随着时间推移，这些电荷会逐渐泄漏和消散。如果多个脉冲在特定时间内巧合地（coincidentally）到达，使得膜电位迅速超过阈值，神经元就会发出一个离散的数字式尖峰（digital spike）。反之，如果电荷积累不足，系统则会重置。
这种机制的复杂性在于时间关系（relationship in time）和尖峰的幅度都是关键变量。正如演讲者所言：
"It's kind of analog in the sense that you have these decays and leaks. Uh but it's also kind of digital in the sense that it emits a spike in a discrete way."
这种模拟与数字的奇特结合（bizarre consequence）在大脑中反复发生，构成了神经形态计算探索的核心概念之一。
现代AI的偏离：硅基原生实现而非生物忠实复刻
尽管神经网络借用了大脑的名称，但现代人工智能在计算路径上已经偏离（gone off course）了生物学的忠实复刻。虽然现代AI保留了一些受神经启发的概念，如大规模互联神经元网络、通过改变连接强度来体现学习成果，以及利用多神经元的模式编码信息，但其核心算法如反向传播（back propagation）和Transformer注意力机制在生物大脑中并不存在。
真正的创新发生在利用数字硅基硬件的原生特性上，而非试图在电子电路中完全复制生物物理过程。演讲者指出：
"The brain is this ultimate model hardware co-design that's taken place like the hardware and the software are one and the same."
大脑是硬件与软件协同演化（co-evolved）的终极模型。因此，将生物概念移植到其他计算基底时，必须谨慎区分哪些是高层抽象，哪些依赖于特定的物理形式。在硅基平台上，原生实现（native to that form factor）往往才是提升性能的正确路径。
神经形态计算的现状与三大探索方向
截至2026年，神经形态计算仍处于研发（R&D）阶段。当前的挑战在于如何匹配生物灵感与物理实现，以激发新的计算潜力。目前主要存在三种探索思路：
- 解决能效问题：针对现代AI能耗高的痛点，借鉴大脑仅消耗20瓦（20 watts）的极致能效特性。这包括探索存算一体（co-mingling memory and computation），例如将SRAM与逻辑电路结合。虽然像Dmatrix和IBM等公司在此领域取得了进展，但部分方案仍完全基于数字电路，引发了关于其是否真正属于“神经形态”的争议。
- 利用新物理特性：开发具有奇特属性的新材料或器件，并尝试将其与生物启发的算法结合。
- 混合策略：在更广泛的定义下，只要涉及记忆与计算的交织或生物启发的架构调整，均可被视为神经形态计算的一部分。
演讲者强调：
"We are still squarely in R&D land and I think we are trying to figure out again this kind of matchmaking problem..."
目前的核心任务是确定从大脑中汲取多少灵感，以及如何将其与特定的物理实现相结合，从而实现真正的突破。
神经形态计算的硬件范式转移
当前计算领域正经历从传统数字逻辑向类脑神经形态（Neomorphic）计算的范式转移。这一转变的核心在于借鉴生物大脑的连续感知、实时反应与自适应能力。研究者正在探索如何利用脉冲神经网络（Spiking Networks）替代传统的连续值训练，并开发具备片上学习（On-device learning）能力的硬件。这种架构允许网络根据感知到的信息实现自我改进，并采用类似大脑的事件驱动计算（Event-driven computation）模式，仅在检测到变化时消耗能量。
英特尔在此领域投入巨大，其研发部门已推出相关芯片原型。一个标志性案例是能够自主飞行的无人机系统。该演示不仅展示了硬件的实时处理能力，更证明了神经形态芯片在复杂动态环境中的实际部署潜力。这种从“静态计算”到“感知-行动闭环”的转变，是神经形态硬件区别于传统GPU的关键特征。
新兴物理器件与协同设计机遇
除了算法层面的创新，新型电子器件（Exotic electronic devices）的成熟为神经形态计算提供了物理基础。半导体研发实验室近年来涌现出多种具有独特物理特性的器件，包括阻变存储器（Resistive memories）、忆阻器（Memristors）以及基于耦合振荡器（Coupled oscillators）的电路架构。这些器件并非单纯的数字开关，而是表现出显著的模拟特性（Analog properties）和非线性行为。这种物理层面的非理想性，恰恰为模拟类脑计算提供了天然的硬件 substrate。
“我们可以将这些新玩具作为技术基底，围绕这些系统的具体物理行为构建模型，从而设计出具有独特结果或属性的协同优化方案。”
这一观点强调了硬件-算法协同设计（Co-design）的重要性。与其强行用数字逻辑模拟大脑，不如直接利用这些新型器件的物理动力学特性来构建计算模型。这种思路将物理限制转化为功能优势，是突破传统冯·诺依曼架构瓶颈的关键路径。尽管目前尚未出现完全复刻人脑的实用系统，但这一领域的孵化期（Gestation period）正如早期神经网络一样漫长且充满不确定性。
初创公司前景与封装挑战
在商业化落地方面，存算一体（Co-mingling of memory and compute）被视为最具前景的方向之一。尽管纯粹的科幻级神经形态芯片尚早，但一些初创公司已在数字领域实现了存算融合的实用化。例如 Dmatrix 被评估为具备较高的可行性，其技术路径涉及将 SRAM 等存储单元通过先进封装（Co-packaging）紧密集成到计算解码侧，以解决“解码墙”问题。然而，这种高密度封装也带来了表面积增加、数据中心服务器密度下降等工程挑战。
“核心问题在于互连线的电容远大于晶体管栅极的电容，因此大部分能量消耗在跨导线移动比特上，而非翻转单个晶体管的位。”
针对这一能效瓶颈，演讲者认为光子学（Optics）可能是解决互连能耗问题的终极方案。在更前沿的探索中，Naveen Ralph 创办的公司正尝试利用纯硅基耦合振荡器进行计算，虽然极具野心且面临规模化制造难题，但其展现出的独特动力学特性仍值得高度关注。这些案例表明，神经形态计算正处于从实验室原型向工程化产品过渡的关键阶段。
与生物大脑的本质差异辨析
针对“既然要模拟大脑，为何不直接使用生物神经元”的质疑，演讲者指出计算机在时钟速度（Clock speed）和存储容量上具有生物大脑无法比拟的优势。计算机可以实现无限的存储空间和高精度的数据检索，而生物系统受限于生理结构。
“我们能在计算机中完成许多大脑无法做到的事情，比如极高的时钟速度。虽然生物系统在能效和并行处理上有优势，但在可扩展性和精确度上存在局限。”
因此，神经形态计算的目标并非完全复刻生物大脑的每一个生理细节（如用正弦波逼近正弦波的冗余），而是提取其高效处理机制并融合数字计算的精确性与扩展性。当前的挑战在于如何将这些生物启发的特性规模化（Scale），使其在保持低功耗优势的同时，满足大规模商业应用的需求。这一领域仍需耐心与运气，但其作为长期研究方向的吸引力毋庸置疑。
软硬件协同设计的迭代路径选择
在下一代计算系统的构建中，软件与硬件的协作优化是核心议题。随着迭代周期的缩短，研究者面临一个关键抉择：是先通过软件模型创新再适配硬件，还是先锁定最佳硬件平台再设计模型？演讲者指出，这取决于研究的起点和视角。如果研究始于对物理系统特性的深刻洞察（如光学计算机），则必须深入理解系统的约束条件，不能盲目套用现有的模型架构。相反，如果研究始于独特的软件算法创新，则需要寻找能够最好地实现该物理形态的硬件平台。这种双向选择体现了“取决于出发点”的核心逻辑，即根据是从物理属性出发还是从算法架构出发来决定优化路径。
碳基大脑与硅基芯片的材料迷思
针对观众提出的“为何不直接研究基于碳的类脑计算”这一问题，演讲者澄清了一个常见的误解。虽然生物大脑是碳基的，但目前的电子计算主要依赖硅材料。这并非因为缺乏对碳的研究，而是因为我们在硅基上进行计算的效率极高。随着技术发展，芯片中使用的材料正变得越来越复杂和 exotic（异质）。例如，有团队正在研究以金刚石作为基底材料，这实际上也是碳的一种形式。因此，争论的焦点不应局限于硅与碳的对立，而应关注电子实现的形式。硅目前仍是执行此类计算的主力军（workhorse），新材料的引入是为了更好地模拟生物特性，而非单纯替换元素。
噪声与可复现性在计算中的角色
关于传统硅基计算的确定性（determinism）与大脑非确定性之间的差异，演讲者深入探讨了噪声在计算中的作用。传统数字计算追求极高的可复现性，而神经形态计算（Neuromorphic Computing）则可能利用噪声。演讲者提到了热力学计算（Thermodynamic computing），这被视为玻尔兹曼机思想的复兴。其核心挑战在于如何“利用噪声而非被噪声淹没”，即让部分有用噪声服务于计算，同时抑制干扰性噪声。演讲者指出，只要噪声是可复现的且基于相同的种子（seed），它就可以被学习。通过前向差分或中心差分的数学方法，可以处理这种扰动。
生物神经元的可复现性困境与动态系统视角
尽管理论上噪声计算可行，但在生物学层面面临巨大挑战。演讲者分享了与斯坦福大学神经科学家 Shaw Drman 的交流经验，指出“无法证明如何获取相同的种子向量两次”是零阶优化（zero-order optimization）在生物学上可能不可行的主要原因。随后，演讲者介绍了与 Cortical Labs 合作的案例：将大脑细胞植入芯片并玩《毁灭战士》（Doom）。这一项目不再试图强行将矩阵乘法等先天计算强加于大脑，而是将其视为一个动态系统问题（dynamical systems problem）。通过电刺激将游戏状态（如弹药、生命值、屏幕图像）编码为输入信号，观察大脑细胞产生的智能输出。这种方法将生物神经元视为“输入-输出机器”，通过刺激产生有用的计算结果。
从 Pong 到 Doom：生物计算任务的复杂度跃迁
Corticle 团队早期的研究集中在让脑细胞玩《Pong》游戏，这是一个相对简单的任务。由于《Pong》的输入输出维度极低，团队能够人工设计编码和解码策略。他们通过实验确定了最佳的刺激通道组合，使得神经元的输出具有高度的可分离性。解码器只需根据这些清晰的信号移动球拍，预测球的落点即可。
然而，《Doom》（毁灭战士）带来了截然不同的挑战。虽然早期《Doom》在视觉上接近 2.5D，但其动作空间极其庞大且复杂。与《Pong》中简单的上下移动不同，《Doom》要求玩家进行侧移、转向、攻击和前进等多种联合动作。团队面临的核心难题是：仅有 59 个电极通道，却要控制多达 54 种不同的动作。在这种高耦合的情况下，手动映射几乎不可能实现，因为不同神经元可能共享相似的通道特性，导致行为高度纠缠。
"for Doom it's a lot harder because you know it's a 3D game for one kind of... your action space is much larger in Doom."
这种复杂度的提升迫使团队放弃手工设计，转而寻求端到端的学习机制。对于更高级的智能任务（如 GPT 级别），手工编码数万词汇或动作是不现实的，必须通过算法自动学习如何刺激大脑以及如何从神经活动中提取有用信息。
闭环强化学习与端到端架构设计
为了解决复杂任务中的编码与解码问题，团队构建了一个基于近端策略优化（PPO）的闭环强化学习架构。该系统的核心流程包括：首先，编码器将《Doom》的游戏观测数据（图像和标量信息）转换为对神经培养物的电刺激信号；随后，神经元产生的脉冲（spikes）被发送至解码器；最后，解码器将这些生物信号转化为游戏中的具体动作。
在这一架构中，编码器网络的结构至关重要。它接收图像输入并通过卷积神经网络（CNN）处理，再与标量观测值拼接后传入多层感知机（MLP）。该 MLP 负责输出每个电极通道的刺激频率和幅度。虽然初始代码中未让网络选择特定通道，但后续实验增加了这一自由度。
为了维持神经反馈的稳定性，团队引入了Critic 网络。由于生物神经元需要随时间接收关于其表现好坏的反馈，PPO 中的 Critic 机制恰好提供了这种稳定的评估信号。整个系统每 2,000 步更新一次，确保编码器能够根据游戏状态动态调整刺激参数。
"for harder tasks you know if we want to scale this to GPT level intelligence encoding and decoding have to be learned end to end"
这种端到端的学习方式不仅适用于游戏，也为未来在生物芯片上运行更复杂的语言模型奠定了基础。通过自动化学习刺激策略，系统能够克服人工设计的局限性。
随机刺激与解码器的去过拟合策略
在训练编码器时，由于无法直接通过生物电极阵列反向传播梯度，团队采用了随机刺激（Stochastic Stimulation）策略。具体而言，他们使用 Beta 采样来确定最佳的刺激幅度和频率。这种方法与传统的储备池计算（Reservoir Computing）有本质区别：在生物培养物中，神经元的物理结构会随时间发生变化。每一次不同频率和幅度的刺激都会改变培养物的状态，因此其输出具有不可预测性。
这意味着 Beta 采样不仅是寻找最优刺激参数的过程，更是细胞政策学习算法的一部分。系统的每一个移动部件（包括神经元的物理变化）都在主动影响信息的处理和输出结果。这种动态特性使得系统比静态硬件更具适应性，但也增加了控制的难度。
在解码器方面，团队经历了一个从过度复杂到极简化的过程。初期使用的解码器规模过大，导致即使在没有神经脉冲输入（即脉冲为零）的情况下，仅靠偏置项也能让系统“自我玩耍”。为了解决这一问题，团队进行了大量的消融实验（ablations），大幅缩小解码器规模并将其偏置设为零。这一调整确保了游戏进展确实依赖于神经脉冲携带的信息，而非解码器的过拟合。最终，这种线性读出（Linear Readout）方式取得了更好的效果，证明了生物信号中确实蕴含了可被提取的游戏策略信息。
"the primary difference is your culture is changing... you don't really know how it's going to perform."
通过这种严谨的架构设计和去过拟合处理，团队成功验证了在复杂 3D 环境中利用生物神经元进行有效计算的可能性。
硅基解码器的过拟合陷阱与性能作弊
在生物计算系统中，如果硅基解码器（silicon decoder）发生过度拟合，会导致生物细胞永远无法真正学习。因为解码器承担了所有任务，细胞可以保持其随机行为而不必进化出特定的功能。这是一种常见的性能作弊手段：通过大规模放大解码器并对其进行反向传播训练，可以让硅基部分完成所有工作，而生物细胞仅作为装饰。演讲者以果蝇大脑研究为例指出，许多看似由果蝇执行的行为，实际上是拥有庞大参数的解码器在替细胞“玩游戏”。这种现象误导了公众和业界，让人误以为生物部分发挥了核心作用。
"It's never the fly doing anything. It's just silicon, right? You have this decoder that is doing everything for it."（从来不是果蝇在做什么，只是硅基部分在做所有事情。）
因此，必须警惕这种虚假的性能提升。真正的挑战在于让生物细胞参与决策过程，而不是被硅基解码器完全接管。如果系统依赖于过大的解码器来弥补生物细胞的不足，那么这种架构就失去了利用生物神经独特性的意义。研究者需要确保解码器不会掩盖细胞的真实能力，否则整个系统的评估将失去科学价值。
动作空间定义与反馈机制的核心误区
系统定义了有限的行为集合，包括前进、后退、停止、左右横移、转向以及攻击。在每个动作步骤中，系统会对这些联合概率执行Softmax操作以选择具体行动。关于如何给予细胞“好”或“坏”的反馈，媒体广泛报道但普遍存在误解。正确的机制基于异步刺激（asynchronous stimulation）和同步刺激（synchronous stimulation）的区别。根据卡尔·弗里斯顿的自由能原理（Free Energy Principle），大脑倾向于避免异步刺激。因此，当细胞做出错误行为时，给予异步刺激作为负面反馈；当表现良好时，给予同步刺激作为正面反馈。这种区分是理解生物细胞如何响应环境的关键。
"Asynchronous stimulations is something that the brain wants to avoid."（异步刺激是大脑想要避免的。）
这种反馈机制并非简单的奖励或惩罚，而是通过刺激模式的同步性来编码价值。媒体往往混淆了刺激的性质和强度，忽略了时间结构（temporal structure）在信号传递中的核心地位。理解这一点对于构建有效的生物-硅混合系统至关重要，因为错误的反馈定义会导致细胞无法形成正确的连接模式。研究者必须精确控制刺激的相位和频率，以确保生物部分能够正确解析环境信号。
基于预测误差的反馈缩放与熵最小化
由于生物细胞在训练初期表现糟糕，且现有细胞技术难以支持长期的信用分配（credit assignment），系统引入了基于预测误差（prediction error）的反馈缩放机制。硅基解码器中包含一个“批评家”模块，用于评估当前动作与预期之间的惊讶程度（surprise）。反馈的强度和频率会根据这一误差进行动态调整：如果细胞做出了出乎意料的糟糕行为，它将受到强烈的负面反馈。这种方法允许系统在不持续施加负向刺激的情况下建立连接，核心目标是最小化对硅基批评家的惊讶度。
"We actually actively penalized entropy because we found that it was helpful and the cells provided sufficient entropy for that."（我们实际上主动惩罚熵，因为我们发现这有帮助，且细胞本身提供了足够的熵。）
与传统强化学习中鼓励探索的熵奖励（entropy bonus）不同，该系统采用了熵惩罚。这是因为生物细胞本身已经提供了足够的随机性用于探索。系统被视为两个动态系统在对抗熵（entropy），目标是减少高熵异步刺激的发生率。细胞通过自我组织来避免这些低效的刺激模式，从而优化其行为策略。TD误差（Temporal Difference error）被用来随时间缩放惊喜度，进而调节反馈的频率和幅度。这种机制确保了系统能够逐步收敛到更优的行为模式，同时保持生物部分的自主性。
神经感受与系统平衡的本质区别
针对观众关于“神经元是否感到痛苦”或“40Hz信号意味着什么”的疑问，演讲者澄清：神经元没有痛觉受体，也不涉及有毒物质的引入。所谓的“正负反馈”是相对于游戏目标而言的。异步刺激增加了系统的熵，而细胞的目标是通过减少获得这种高熵刺激的频率来降低自身文化的熵。系统永远不会达到静态平衡（equilibrium），而是处于两个动态系统的持续博弈中。熵是主要的敌人，它会破坏系统向半吸引子状态（semi-attractor states）的收敛。
"The brain itself... does not optimize for feeling good or feeling bad. It optimizes for kind of reducing the entropy in the culture itself."（大脑本身……并不优化于感觉好或坏，而是优化于减少其文化本身的熵。）
这种机制与真实生活中的感官信号（如视觉或听觉）有显著不同，因为它不依赖于生物体的主观感受，而是基于信息论层面的熵减。通过调整刺激的频率和幅度，系统引导细胞形成特定的连接模式。虽然尚未进行极细粒度的样本效率测量，但观察到的现象表明，这种基于熵最小化和预测误差缩放的反馈机制能够有效驱动生物细胞学习复杂行为，同时避免硅基解码器的过度主导。
生物基质并非为计算而优化
在探讨替代GPU的生物计算方案时，核心观点在于重新审视智能与算力的关系。人类智能并非为了高效处理计算任务而进化，而是优化于生存、繁殖及种族延续。尽管我们赖以生存的物理基质（生物组织）是承载智能的良好宿主，但这并不意味着它是计算的最优材料。
"I think human intelligence is not optimal for compute. We're optimized for survival, you know, reproduction and the existence of our race."（我认为人类智能并非计算的最优解。我们被优化用于生存、繁殖和种族的存续。）
这种差异意味着，基于生物基质的智能系统可能会随着发展逐渐偏离传统输入输出的形态。虽然初期可能看起来相似，但长期来看，智能形式将发生分化。这种演化路径可能导致一种全新的、不同于人类认知的智能形态在同一物理基质上诞生，这既令人兴奋也带来潜在的未知恐惧。
脑机接口与伦理边界
关于是否可以直接利用真实的大脑电信号进行训练，讨论触及了神经科学的伦理前沿。目前已有实验尝试将微型眼球类器官（mini eye organoids）生长并连接至生物体大脑，以记录信号。然而，这种做法引发了严重的伦理担忧。
直接重建或模拟人类感知机制被视为从第一性原理重构人类意识的尝试。这种操作不仅涉及技术可行性，更触及了“何为人类”的本质定义。因此，尽管技术上存在尝试路径（如类器官连接），但其伦理风险极高，可能导致对人性本质的不可逆改变或混淆。
规模化服务的两大核心难题
生物计算方案面临的最大障碍并非智能的产生，而是可扩展性（Scalability）。实现这一技术需要解决两个主要问题：首先，必须在细胞层面达到前沿水平的智能（frontier levels of intelligence）；其次，必须找到方法将这种分布式智能服务于全球数十亿用户。
目前我们已知如何在单一生物体上实现智能，因为人类本身就是同一基质上的智能存在。然而，分布式计算（distributed computing）在生物领域尚未实现根本性突破。我们目前尚不清楚如何实现大规模的生物分布式计算。这是一个极具挑战性的未知领域，需要组建专门团队去探索scaling（扩展）这一技术路径的具体步骤。
结论
视频论证表明，传统GPU路径受限于能效瓶颈与反向传播的生物学谬误。光计算凭借线性运算的低能耗优势，在扩散模型等特定任务中展现出显著能效提升及幂律缩放潜力；但其普及受制于光电转换损耗、非线性激活缺失及存储难题，目前仅适用于权重固定的专用场景。神经形态计算通过存算一体与事件驱动实现极致能效，但在大规模分布式扩展上仍面临技术空白。生物计算虽具创新潜力，却受限于可扩展性与伦理边界。总体而言，未来需依赖软硬件协同设计，在特定算法约束下发挥各硬件子strate的独特优势。