十七岁，ICML接收论文的高中生

苏廷浩，2009年出生，现为高二学生，就读于香港多伦国际学校（原文应为“德瑞”或“道尔顿”，此处按发音校正为多伦国际学校），在上海出生，三年级时随家人移居香港。2026年，他的一篇关于attention机制的论文被ICML 2026 Main Track接收——这是他高中阶段独立开展预训练研究的成果。他的表达常令人感到新鲜而奇妙，访谈中他坦言：AI让他和同学们有时会失去人生的意义感，因为“不管你做什么，AI可能都比你做得更好”。他曾为此难过一段时间；但后来他调整了心态：“我就是想让自己开心，让喜欢的人开心，让所有人都开心——因为开心才是人之根本。”

“既然AI不可控，那就不要杞人忧天了吧，要多和喜欢的人聊聊天呀。”

“我就是想让自己开心，让喜欢的人开心，让所有人都开心——因为开心才是人之根本。”

从象棋少年到AI探索者：自学、弯路与三十天读论文挑战

苏廷浩的学习路径充满自主探索：初中阶段尝试奥数，后转向象棋，并在2025年获得16岁以下全国第二名；他将象棋视为“一对一的脑力游戏”，认为它锻炼了耐心与持续思考能力。真正转折点出现在ChatGPT发布后——他回忆起初见OpenAI demo时的怀疑：“我看了那个视频就暗笑，这肯定不行……程序就是死的。”但随后GPT的实际表现让他震惊，并由此开启自学之路。

2025年，他发起“30天每天读一篇机器学习论文”挑战（后因HCC考试中断），期间精读了《Attention Is All You Need》《Lottery Ticket Hypothesis》《AdamW》等经典论文，逐渐建立起对“好论文”的直觉判断：“读得舒服的论文往往结构清晰、动机明确；难懂的则堆砌术语，逻辑跳跃。”受Andrew Karpathy系列视频启发（他称其为“从零教你写GPT”的20小时课程），他萌生了训练一个极小但极致的LLM的目标，并开始复现前沿论文（如Muon、Value Recurrent Learning、Gated Attention），累计尝试200余次架构改进。

“我挑战自己：三十天每天读一篇论文，就写笔记。”

预训练的‘魔幻’：烧钱、失误与父母的支持

他选择预训练作为研究切入点，因其认为：“后训练更像塑造一个身体；预训练更像是把具体的材料变得更好，来承受之后的后训练的塑造——它有点魔幻。”尽管深知预训练成本高昂（他估算：0.5B模型需数万元，scale-up至更大规模则需约6,000元额外投入），他仍在家人支持下推进实验。

一次低级失误让他损失1,500元：因未正确设置checkpoint保存机制，三个模型训练中途全部丢失。“我都哭了……为什么我没想到再看一遍？”母亲安慰他：“吃一堑长一智。”最终，他的论文通过ICML审稿（Reviewer专业且友善），验证了其方法的有效性。他透露，当前训练代码仍较混乱、效率不高；数据集最大为20B token的FindWebEdu免费开源语料。他甚至能“25分钟从零手写一个Transformer”（speed run挑战），展现出极强的工程直觉与学习韧性。

“那是一个昂贵的游戏。”

从零写Transformer：25分钟的Speed Run

这位17岁少年在论文正式投稿前，经历了约半年的密集实验。他提到自己曾挑战“无视频从零手写Transformer”，并以25分钟完成整套代码实现作为个人最佳成绩——这并非炫耀，而是一种刻意训练：通过反复复现、记忆结构与参数流动路径，培养对Transformer内部机制的直觉。他强调自己并非刻意聚焦于attention模块，而是因在尝试改进Value Residual Learning（残差学习中的value分支）时取得突破，才自然走向了当前方向。这一过程带有强烈的试错色彩：“机缘巧合”“瞎摸索”是他反复使用的关键词，反映出其探索路径的非线性与自发性。

嗯，你的这篇论文选择方向是 attention，为什么选这个方向？我选的是attention，因为呢，我试验最多的就是那个 value of residual learning 的这个论文，就是改啊 attention 里面的那个 value。

哦哇塞哦，二十五分钟从零写一个 transformer，觉得应该特别简单，特别小。

APM：一种解耦的Attention Projection策略

其论文核心思想是Attention Projection Mixing with Exogenous Anchors（APM），本质是对Value Residual Learning的进一步优化：将第一层attention中原本混合用于本层输出与后续残差连接的projection权重进行显式解耦——具体做法是将该层projection宽度扩大一倍，再将其均分为两路：一路服务于当前层的正常前向传播，另一路专用于跨层残差连接。实验表明该设计显著提升了模型性能。

他特别澄清了与高中生陈光宇（Kimi）提出的“Attention Residuals”的区别：后者是在hidden state层面添加残差，而APM则直接作用于attention projection权重本身。尽管他坦言Kimi方案已被2.5T规模验证有效，但他仍坚持认为APM代表了一种独立且有潜力的架构创新路径。这种区分意识显示出其对技术谱系的高度敏感，也反映出年轻研究者在学术对话中主动建立定位的努力。

有很大的区别，是两种思路……它是你们也交流过吧？我跟那个Kimi那个有个高中生陈光宇，陈光宇对呃交流过……他们做的那个attention residuals就是用attention来做残差……我是试那个残差attention projection，听起来有可能很像，实际上不是一样的。

AI学习直觉：从‘跟练’到‘顿悟’的沉淀

他坦言自己并非天赋异禀，而是通过长期沉浸式输入+无意识沉淀逐步建立直觉。例如，在反复观看Andrew Karpathy的Transformer讲解视频两年后，才在某个时刻突然理解QKV机制——他用生动类比解释：Query是‘我想找什么’，Key是‘我是什么’，Value是‘别人找到我后该给我什么信息’。这种具象化理解方式，正是其技术表达能力的体现。

他特别提到“啊哈时刻”（aha moment）往往发生在无意识沉淀之后：比如理解KV Cache原理时，才意识到“后续token不会影响前面”这一关键约束才是其可行性的根基。这种认知发展路径挑战了“AI需高深数学”的刻板印象——他认为GPT/Transformer本质是矩阵运算，高中数学基础已足够入门；真正门槛在于时间投入与思维沉淀的耐心。

比如就是具体的那个 attention 这个 QKV，啊，也是灵光乍现……Q 是代表我想寻找什么……K 是代表我这个字是什么，别人可以用这个 K 来寻找我。

之所以KV cache能行，是因为那个之后的tokens根本影响不了之前的，所以呢，可行。

模型公司与应用公司的生态分野

在受访者看来，当前AI领域呈现出明显的“模型—应用”双层结构：模型公司负责底层大模型的研发与优化，而应用公司在其之上构建具体产品和服务。他指出，像Codex或Cloud CoWork这类模型公司若能直接推出应用（如GitHub Copilot），是最理想的状态；但多数情况下，应用公司只能依赖模型公司的技术输出，在其接口层做轻量级封装或定制化，因此本质上仍受制于模型能力的边界。

从商业逻辑看，所有公司——无论大小、中美背景——最终目标高度趋同：宣称致力于AGI（通用人工智能），并以商业化盈利为终极导向。他观察到，美国政府曾被某算法拒绝服务，而OpenAI则欣然承接，这反映的并非技术优劣差异，而是不同企业的理念与战略选择。当前现实是：除Azure外的多数模型公司仍在持续烧钱，尚未实现稳定盈利；而部分应用层企业已率先实现营收突破。不过他推测，一旦AGI真正落地并具备自主开发软件的能力，应用层价值或将被大幅压缩。

“要是你有动力的话，用AI能走出很长的一段路。”

“现在有了AI自驱能力、自制能力，现在很重要，很重要。”

AI原住民的学习范式重构

作为2009年出生的“AI原住民”，受访者深切感受到教育生态正在被彻底重塑。他所在的国际学校已允许课堂使用设备，但考试仍强调独立思考——AI成为高效工具而非答案来源；关键在于如何分配节省出的时间。他个人重度使用Anki记忆卡与ChatGPT辅助学习：将重复性作业（如写作、PPT制作）交给AI，把时间转向更深层的自主探索与知识内化。

他观察到班级里存在两种典型路径：一部分同学善用AI拓展学习深度（如生成动画解释物理概念），另一部分则陷入“交差式依赖”，直接提交未经修改的AI生成内容。老师虽难以监管使用行为，但普遍理解技术趋势，并能通过文风突变等细节识别敷衍作业。他强调：“AI不会自动提升成绩——它放大使用者的意图与执行力；自律者效率跃升，放任者反而滑坡”。他以好友Isaac为例：引入AI后其学习效率显著提高，能将精力转向高价值任务。

“我觉得现在是AI……有时候能看出它其实只是一个预测下一个token的model。”

“现在呢，他是得做一个choice，得他们得选择。但是当然选择视频让他们更开心。”

AGI前景下的教育焦虑与使命重构

受访者坦言，AI的迅猛发展引发了对学习意义感与人类独特价值的深层焦虑。他指出，过去学生通过掌握特定知识（如物理、数学）获得成就感与进阶路径感；而如今，AI能瞬间生成比人类更精准的答案，导致“知识获取”与“价值创造”的边界模糊。一位同学的反思颇具代表性：用AI制作学习视频虽提升了效率，却削弱了“亲手解题”的满足感——当答案唾手可得时，“为学科本身而学”或“推动人类认知边界”的使命感似乎正在稀释。

更深层的忧虑在于职业前景：他设想十年后，医疗AI可能比人类医生诊断更准、手术更稳。若AGI最终能自主开展科研（如自我迭代模型架构），“AI研究者”或将成为最后一个被替代的人类职业——因为一旦实现，人类即丧失对技术演进的主导权。他呼吁社会需为这场变革预留缓冲期：让公众真正理解AI的当前能力（远超2021年的水平），并共同思考如何在人机协作中重拾教育的本真价值——不是培养“比AI强”的个体，而是塑造能驾驭技术、定义问题并赋予其意义的思考者。

“我只认识几个人……他们现在就用AI学习，他们觉得以后AI有可能也会做这个工作。做的比他们更好啊！”

“我就是想法，这个想法……AI能最后代替的工作就是AI研究者。”

AI焦虑与情绪调适

面对AI快速发展的现实，许多同龄人—including作者自己——都曾陷入对未来不确定性的焦虑中。他回忆道，前一年此时因观看‘AI替代人类’主题视频而陷入数周低落情绪，甚至与朋友讨论过‘如果AI取代人类后该去小孤岛生活’的设想。但最终他通过主动接触网络内容、与AI对话等方式走出焦虑，意识到“未来无法预测”，许多担忧可能是杞人忧天。他强调：

‘想那么多没有用’。

在与身边朋友（如计划成为医生、教师或科学家的同学）交流时，他建议大家拥抱AI工具：将重复性、辅助性任务交给AI，保留那些对自己“有意义”“必须做”或“让自己开心”的事亲手完成。他特别指出：人类的情绪体验目前仍无法被AI替代，并以一位女生长期付费与AI偶像对话获得情绪价值为例；但同时也警示风险——如Character AI曾有15岁用户因与虚拟角色互动而产生极端行为，最终公司被迫下线相关功能。他补充道：全球已有50%的同龄人将AI用作倾诉工具，但他坦承自己使用体验一般，并认为对缺乏现实人际温暖的人群而言，AI的情感支持意义重大。

‘在这么 crazy、这么疯狂的时代……做让你开心的事情，别想那么多以后的东西’。

AI使用实践与认知演进

在日常学习和研究中，作者主要依赖ChatGPT（尤其是Codex能力）与DeepSeek：前者用于复杂编程任务，如自主开发小游戏；后者则因其响应速度更快，在需即时反馈时使用。他欣喜于Kimi K3的发布——作为中国本土大模型，其快速追赶国际水平让他“高兴了一整天”，并视之为国产AI进步的象征。他认为，无论是开源还是闭源路径，“最终目标都是AGI”，而实现AGI最酷的体验，将是与一个‘24小时在线、比你更聪明快速’的存在交流——如同接触外星智慧。

他观察到AI与人类的相似性：低级错误频发恰是其‘像人’的关键特征之一，因为训练数据源自人类行为。他举例称自己曾被某些问题误导，而AI也犯同样错误——这反而拉近了人机距离。在研究层面，他尝试用AI辅助论文写作：输入目标框架后，模型可生成具体步骤与待办清单；虽削弱了部分探索乐趣，却极大节省时间成本。他总结道：AI省下的不仅是精力，更是‘重新定义意义’的时间——现在只需明确目标形态，执行可交由AI完成。

‘你现在怎么使用AI呀？……我觉得下这步棋现在呢，跟上一年的模型判若两人’。

支教实践与双重视角

今年暑假，作者第四次赴北京周边乡村开展夏令营支教。四年前他偶然参与活动，发现当地儿童学习英语时存在发音偏差（如用中文谐音记忆），于是第二年起组织国际学校同学赴呼沙村，结合象棋教学与趣味英语课程。他创新设计“狼分”激励机制：用淘宝采购乐高、零食等小礼品，学生通过课堂表现兑换奖励。三年来活动广受欢迎——孩子们甚至托村长‘走后门’争取名额，离别时纷纷索要签名、赠送手写卡片表达喜爱。

尽管刚从ICML会议与全球顶尖AI研究者（如阿里云通义千问团队、哈佛MIT学者）交流归来，他并未刻意区分‘AI世界’与‘乡村生活’的割裂感。支教前他刻意关闭数字设备，用心理暗示进入慢节奏状态：白天备课、夜晚散步观星或抓昆虫，与孩子们玩狼人杀、捉迷藏。他坦言自己未向学生解释AI概念——因当地缺乏电子设备，且AI对他们尚显遥远。但这段经历反向强化了他的核心信念：

‘希望我是一个能让我自己开心、也能让周围我喜欢的人开心的人。’

对他而言，‘开心’不仅是情绪状态，更是探索人生意义的终极坐标。

开心作为人生底层目标

在访谈中，少年反复强调“开心是人类根本的情绪需求”，并提出一种看似朴素却极具穿透力的观点：无论是高考备考、下棋赢局，还是寻找人生意义，所有行为的终极目的都是为了“事后开心”。他认为，若缺乏情绪体验，生活将变得极度乏味；而所谓“成功”，其价值也仅在于它能带来开心——没有开心的成功是空洞的，而为成功牺牲当下开心的行为本身也仍是以未来开心为目标。他进一步指出：情绪本质上是一种强化学习机制，它驱动我们重复带来愉悦的行为、回避引发痛苦的选择；若失去情绪（如案例中那位丧失情感的患者），连最简单的日常决策都会陷入漫长迟滞。这印证了情绪并非冗余装饰，而是认知与行动的底层燃料。

“我觉得开心就是人类根本的，没有那个情绪，做人会很无聊。”

“现在牺牲一点开心，为了以后开心，都是为了开心而努力，而开心为工作。”

具身智能与社会重构的双重图景

谈及未来，少年描绘出一条从“初步具身智能上街”到“AI深度嵌入日常生活”的渐进路径：五年内，人们可能通过眼镜、耳机甚至Neuralink接口与AI无缝交互；十年后，具备物理行动能力的机器人将承担买菜、开车等任务——随之而来的可能是高达50%的失业率与全民UBI（无条件基本收入）社会的到来。他清醒意识到技术的双刃性：一方面期待“所有人都能在家做喜欢的事、看AI短剧获得快乐”；另一方面又警惕《Cyberpunk 2077》式的反乌托邦风险——强AI被权力垄断、网络崩坏甚至核战爆发。他坦言更愿相信另一种未来：人类通过虚拟世界获得真实成就感，技术服务于情感联结而非取代它。这种对“科技向善”的坚持，正源于他对人际温暖的深切珍视。

“我希望不是往那个dystopian cyberpunk 2077那边走嘛。希望就是那个有爱，所有人都在家里快乐……

语言、关系与意义的锚点

当被问及“影响AI进程的关键论文”时，他如数家珍般列出Attention、Mamba等模型；但真正触动他的却是人与人的联结本身。他视《庆余年》为精神启蒙之作，尤其向往穿越叙事中“现代人到古代”的纯粹人际互动——那里没有AI的碾压式智能，只有坦诚分享与深度交流。他引用研究强调：预测晚年幸福感的最强指标，是生前倾诉对象的数量与质量；正因如此，他主动练习“多跟朋友说话、多和喜欢的人沟通”。在AI时代，语言作为意义的载体与关系的桥梁愈发珍贵：不同语言如同对同一向量空间的不同填充方式，共同拓展着人类理解的边界。而他的终极答案始终如一：人生意义即“让自己开心，也让喜欢的人开心”——这既是朴素愿望，亦是对抗技术异化的温柔抵抗。

“我现在人生意义就是让自己开心和让其他我喜欢的人开心。”