Hello,大家好,我是小俊。今天是一集很可爱的播客,嘉宾是出生于二零零九年、现今十七岁的高二学生苏廷浩。他高中阶段独立的做预训练研究,发表的一篇关于 attention 机制的论文,刚刚被 ICML 二零二六 May Track 接收。我们的节目访谈过许许多多成熟的AI研究者,但是这是第一次,我打开了一个高中生的AI世界。
他的表达时常有些令我感到新鲜和奇妙。我们聊了聊过去两年他充满趣味、惊喜还有哭鼻子的AI旅程,也聊了聊高中生视角下的模型、商业、教育与人类未来。他说AI让他和同学们有时候会感到失去了一些人生的意义感,因为不管你做什么,AI可能都比你做的要更好。他为此难过了一段时间。但是后来他又调试好了心情,他想好了,他就是想让自己开心,让自己喜欢的人开心,让所有人都开心,因为开心才是人之根本。
既然AI不可控,那就不要杞人忧天了吧,要多和喜欢的人聊聊天呀。参加完了韩国的ICML,中途在城市停顿了几天,他马上就去农村支教了,那是全然的另一个世界。他提醒自己要离开AI,沉浸到另一个抓昆虫、玩狼人杀、慢吞吞的人类世界。那接下来就是我和十七岁小少年苏廷浩的聊天,期待二零二六年我们和AI。共同进步。
我参数没调好,白白浪费了一千五,因为我同时训练了三个模型,而三个模型都没 save,在这之后就我白白丢了一千五。是,呃,训 A I 好花钱啊,那是一个昂贵的游戏。对对,我都我都哭了。啊,我想预训练的原因就是因为呢,后训练更像塑造一个身体吧。预训练更像是把那个具体的材料变得更好来承受之后的后训练的塑造。
预训练有点那个 magical,有点魔幻一样。也不能预测未来,也不知道未来会发生什么。有可能现在是杞人忧天,现在跟你喜欢的人在一起,呃,跟你喜欢的朋友在一起,看一些你喜欢的视频,玩一些喜欢游戏,然后呢,别焦虑那么多,走一步是一步吧。你喜欢农村吗?说实话,是挺喜欢的。啊,虽然很多东西都不方便,那农村的都是一些慢慢吞吞的那些小车,对面就是一些草原农场,觉得能真正放松下心身,离开城市里的烦恼。
那张德粉先来给听众朋友们打个招呼。好啊,大家好,我是苏林浩,张德粉。我是就读于香港多瑞国际学校。我是呢是高二,马上升高三了。我其实是上海出生的,我二三年级才来香港。这次呢是那个 ICML 2026 韩国那个会议,我有幸我的一个论文被纳入了 main track。所以呢,我挺开心的。你是为什么会开始做 AI,并且想着要投一篇论文的呀?
这个呢,就是 ChatGPT 出来以后,我记得很清楚,我在油管上看到了一个视频,那个视频就是 OpenAI 那个组。他们做了一个 demo,他们用那个正常语言,就是说做一个小游戏之类的。我当时我记得很清楚,就是我看了那个视频就暗笑,这肯定不行。你用人类的语言怎么可以做个程序呢?因为呢,我之前也做编程比赛之类的,我印象中就是程序就是死的,你输一吧,不能输二。
那时候我就特别惊不惊奇。然后呢,过几年他GPT就release了。然后呢,我就特别特别那个惊讶,因为呢,它可以做一些小文章,会做写诗。我在我印象当中,程序根本做不了这些东西。嗯,所以呢,我记得就是当时很好奇。真的,我在网上查查点资料,跟着是那个哔哩哔哩那个 Stanford Andrew 老师的一个课程,问答对,问答,我问答问答,但他那个课程是把我带入门了。
我是上一年这时候看了那个 Andrew Carpercy,他的油管上有差不多二十个小时一系列的一个视频,就是从零教你怎么写一个 GPT,怎么写一个 Transformer,就是从零做起。那时候我还没有学那么多,所以呢,那时候是云里雾里的那个看那个视频,我特别特别那个烦恼。有时候因为这根本看不懂,为什么做这个,为什么做那个,为什么这个行,为什么这个不行?
我就挑战自己,三十天就是每天读一个论文,读每天读一个论文,就写笔记。三十天每天读一篇论文。对的,读一篇那个机器学习的论文。二三年是吗?啊,是是是上一年。二五年。二五年这个是。二五年开始。二五年开始。对对对啊!之前我一直在学里的那个系学习的东西,但是呢,还是大部分时间还是做别的,没那么感兴趣。但是呢,我通过几篇论文,比如那个
Lottery Hypothesis,比如那个 Adam W 这些经典的论文,我就有了一些一点的 research 感觉,就知道哪些论文是好的,哪些论文是坏的。
为什么这个论文读得很舒服?为什么另外一些论文读的特别困难?而且呢,我还看了一个关于象棋的论文,就是象棋和那个机器学习的论文,我印象很深。就是我觉得他写的不是那么好,那个有点差。我自己有可能以后也写一个比这个更好的论文。所以呢,我看过那个 Andrew Capacity 的一系列视频以后,我第一个想法就是自己训练一个世界上最好的大语言模型。
那个虽然很小,但是真的很小里面的是最好的。现在我去网上查了查,有一b或者是零点五b或者是零点二五b这些模型,我需要多少GPU,需要训练多少天,多少token上面训练?嗯,我自己算了一下,然后发现呢,即使训练一个很小的模型,但是呢,训练的钱也是那十几万或者是上百万的,所以呢,我就发现不行。所以呢,我就自己看了一看一些其他的论文,然后呢,把最先进的论文,然后自己实现在我写的那些那个探索门那个代码上,比如
Muon,或者是比如那个 Value Recurrent Learning,或者 Gated Attention 这种论文,然后呢,我就是机缘巧合试了试,我好像那个试了两百次。
不同的改进,然后呢,最终机缘巧合,呃,我很开心,也很幸运有了一些成果,所以呢,我就是哈打算投ICML啊。那时候当然我也听说过那个三个顶会,就是那个啊NeurIPS、ICLR和那个ICML,呃,所以当时ICML也开始了,那我想碰碰运气。这次我抽到的是Reviewer,都是很专业,他们给我了一些建议,最终的那个评价和打的分都是很好的,所以呢,这是我的一些经历。
你去年每天读一篇论文的挑战计划,这个持续了多久呀?持续了三十天,三十天后就是考HCC了,因为我现在是HCC,然后到IB的系统,那时候就开始考HCC了,没时间读。你在里面发现了什么样的论文是优美的,是好读的?哪些是不好读的?哦,我觉得当然最好的是那个 attention 那种与你那个谷歌的那个 transformer 那个论文,一开始很难,但是你读懂了以后就豁然开朗,特别特别开心。
我那天读完了以后,或者是那个 lottery
hypothesis,大的是那个数学难度,但是呢。还是很好一篇论文。嗯,你到底是对写AI的论文开始感兴趣了,还是对AI感兴趣了?在这个过程中啊,我觉得我是对AI感兴趣,因为呢,哦,我一开始发现,比如训练AI的话,就是脑子里就是AI是一个不同的生物,不同的一个动物啊,就做AI研究有一点像,就是做比如生物的研究,就是你改改这个,改改那个,看有什么变化啊,还是靠一点直觉。
所以呢,我还是对 AI 本身有个兴趣。嗯,讲讲你自己的成长经历吧。你说到你是在上海出生,然后去香港读书。我是在上海西南路幼儿园读书,然后呢去了啊,在黄埔,呃对,呃市外小学读了一年,然后呢就去香港了。我觉得印象很深,就是那个感谢我在上海读了一年的小学,因为呢基础还是打的比我同学好。比如我我我真的有些同学过年来了,但是呢他们一直在香港,所以呢他们那个普通话交流也还不行。
当然,那个香港国际学校国际化的教育也是对我很大的帮助。因为呢,幸好不是在高考这个系统,要是在高考这个系统,有可能就没时间做我喜欢的东西啊。还是得哎,感谢我父母,因为呢,他们给我这个空间,我可以探索我想做的东西。比如我之前探索了一些数学竞赛,或者编程竞赛,或者那个象棋,走了很多弯路,特别特别多的弯路。
什么样的弯路?比如一段时间我对奥数感兴趣,这是小学还是初中?初中初中。对奥数感兴趣,但是呢,做了几年发现,最终我对这个科目没有那么大的兴趣,而且呢,我自己奥数也不是那么强。我还对象棋感兴趣,对象棋感兴趣,我是挺自豪的。我象棋呢是二零二五年十六岁以下第二名哦,我是那个自己自学自学了一两年,花了挺多时间,就是网上看一些书,看一些视频,然后自己下了几盘,然后呢,最后也是啊,也是运气好吧哦,所以我发现你的学习方式都是通过自学啊啊,对是。
现在有了那个网络,现在更有AI,ChatGPT,DeepSeek,免费的AI。现在你想学什么都可以学。你们家当时是为什么搬去香港啊?是因为父母为你的教育考虑,还是什么呀?啊,应该是我父母的工作吧。哦,工作原因。工作原因。应该也是教育。对,在你的成长过程中,你的探索非常的多,做过数学竞赛,但是发现自己不喜欢,然后发现自己更擅长象棋,为什么呀?
因为呢是啊一对一嘛,啊那你也不要很多思考。你输的话,就是因为你的毛病;你赢的话,也是啊因为你自己。而且呢,象棋是一个很考验,就是脑力或者你持续性的个棋,因为哪下棋都这样子。比如我在二零五年下最长的一盘棋是两个半小时,嗯,两个半小时我和另外一个人对弈。所以你觉得象棋对你的性格塑造是什么呀?比较有耐心。
嗯,我我发现你是一个很喜欢竞赛的人,是吗?啊,因为我是喜欢游戏的人嘛,啊,我喜欢这个输赢这些的。嗯,你是一个胜负欲很强的人。啊,有时候吧,其实我也觉得我不是那么胜负心很强的人,就是觉得那个象棋跟玩游戏一样,考验思考,呃,就是胜负能赢能输,输的话很伤心,赢的话很开心。哦,对。这个象棋你是主要是在哪个时间段玩的比较多?
两三年前吧,我两三年前开始的,就是看网上的有馆的一些才能,很开心的,就是晚上一边看视频一边下棋。下棋之后你就对AI产生了兴趣,对,好像是这个时间线哈。是是,那下棋之后呢,我就有点时间可以做自己想做的东西,就是看几个Android的视频。你开始自己做一些预训练嘛?也,嗯,是是啊,我为什么你会选择是做预训练?
是那个 Andrew Fancy 课程上有的嘛?而且,说实话,我只会大圆模型和预训练啊。我选预训练的原因就是因为呢,后训练更像塑造一个身体吧。预训练更像是你把那个具体的材料变得更好来承受之后的后训练的塑造。预训练有点那个 magical,有点那个像魔幻一样。哎,这个描述有意思。当然预训练,我我也不推,其实不推荐别人做预训练,因为呢,我感谢父母特别支持我,愿意为我烧钱。
你比如我那个论文,我是烧了三万块钱啊。我记得我那个论文那时候最大的训练的模型只是零点五B。我知道,要是我想被比如那个顶会收取的话,必须得扩大,必须 scale
up。我算了一下,我扩大的话需要差不多六千块钱。那天晚上特别紧张,就在想要不要花这些钱,有可能啊那个,因为我也知道,即使很好的论文,有可能也被那个拒绝,possibility high,但必须得 lucky,有可能我 scale up 之后,有可能也不会接受,所以呢就白白浪费了六千块钱。
但是呢,最后还是因为我哥哥、我爸爸妈妈都支持我,所以呢最后决定迈出了那一步。嗯,所以在 scale up 上还是很成功的。对,是是。你在做你的 AI 实验之前,你会做什么准备?你是怎么准备数据的呢?每个模型公司现在都很关注这个问题。啊,说实话,我数据集也不是那么大,就是最大的也是用过那个二十B的数据集。
我用的是那个 Find Web Edu 免费的一个训练大语言模型的数据集。说实话,我现在呢训练模型的那个代码,只是我一个人会用,知道怎么用,其实挺 messy 的,那个不怎么干净。我也知道,我现在这个代码训练的时候有很大的那个
inefficiencies。有一次挺丢脸的,我忘那个最后每次训练有一个那个 checkpoint 嘛,就是每次训练那个 model 会被那个 save,然后呢以后可以用嘛。
我参数没调好,白白浪费了一千五,因为我同时训练了三个模型,然后三个模型都没
save,在之后就我白白丢了一千五。是,呃,训练也好花钱啊。对,哦,那是一个昂贵的游戏。对对,我都我都哭了,都那个有点流泪。我特别特别伤心,我这为什么我没想到那个之前那个再看一遍呢?哎,这个时候你父母会怎么说啊?那时候我告诉我父母,我父母是那个特别支持我的,我妈妈就跟我说,那个吃一堑长一智嘛,啊,我之后哎呀也没犯这种低级的错误,啊,对,也挺好的。
你从这篇论文的训练是从什么时候开始的呀?二零二五年底,就是你先开始自己读论文挑战计划。挑战了三十天,可能停了一段,对,然后到二五年底,你开始决定要做一件什么样的事情?你的目标是发一篇论文,还是说你的目标是要做一个什么样的探索?我当时就跟着 Andrew Karpasi 去了,会了怎么从零做一个 transformer 嘛。
所以呢,我当时就想做个世界上最好的大语言模型,就是这个想法。但是呢,很快发现不行。现在我既然已经做了一个那个底层的框架,我就想试试一些网上我看见过的论文,想试试它。嗯,就是机缘巧合,改了改那个 architecture,然后最后挺成功。做了多久?啊,做了差不多半年吧。比如那个 One B,就是试了差不多两百两百五十多次,而且有一段时间我还是挑战挑战自己。
就是呢,没有任何视频,就是从零写一个 transformer,就是脑子里背啊。那我就挑战自己啊,越快越好,就是 speed run 嘛。我的那个最好成绩是好像是差不多二十五分钟,呃,从零写一个 transformer。哦哇塞哦,二十五分钟从零写一个 transformer,觉得应该特别简单,特别小的。
嗯,你的这篇论文选择方向是 attention,为什么选这个方向?我选的是attention,因为呢,我试验最多的就是那个 value of residual learning 的这个论文,就是改啊 attention 里面的那个 value。我也不是故意是选是做 attention 还是做 residuals 或者做其他的一些,比如 positioning embedding 之类的。
所以呢,就也是机缘巧合才在这个上面有了一些进展。能不能介绍一下你这个论文思路?还是 attention projection mixing with exogenous anchors?对对,这篇论文大概的框架就是。Value residual learning,就是把第一层的 attention 里面的 value 加到之后几个层里,就是做残差。
我这篇论文呢是发现你可以用 RMS norm 在这些残差的上面,比如那个 value 可以延展到那个 key 和 query 上面,然后呢最后效果更好。因为它是第一层的
value,得做两件事儿。第一件事儿就是在这一层被使用,然后第二件事儿就是加到之后的几个层上面做残差。那我发现可以分开这两个功能,就是把第一层的 attention projection 宽度乘二,然后呢在那个切一半,一半用于这一层,另一半用于之后残差,然后呢效果更好。
这跟 Kimmy 他们提出的那个注意力残差有什么关系吗?还有区别是什么?有很大的区别,是两种思路,对吧?啊,对,完全思路,它它是你们也交流过吧?是是,我跟那个Kimi那个有个高中生陈陈光宇,陈光宇对呃交流过,呃是一个很好的人。他们做的那个attention residuals就是用attention来做残差,就是残差那个hidden state residuals。
我是试那个残差attention projection,就是听起来有可能很像,实际上不是一样的。你觉得哪个思路更work?啊,当然是那个 Kimi 了。Scale up 已经被 2.5 T 那个被证明了。这个很有意思,就是你看陈光宇,他很喜欢 AI,他选择是加入一个 Frontier Lab,然后把自己的想法得到更大范围的验证。
你为什么没有做这个选择呢?啊,我。其实那时候我就是自己瞎摸索,自己呃瞎实验。我其实那时候也是没对ICML抱多大希望,只是我有点时间,呃,我也没什么那个呃想玩的游戏,或者没想想做的,就是我对这个也有点兴趣,没就这个论文抱那么大期望,也是没想那么多。如果之后有一些lab想邀请你,你会去吗?啊,那当然了,当然了,啊,非常欢迎,非常欢迎,啊,那是当然了。
所以你其实真正开始学AI的论文是从二五年,然后你二五年底就开始自己做实验,就被ICML收录了。是是,这个周期非常的惊人,是不是说明其实学AI它并不需要你是一个生根非常多的一个人啊?就是你能不能讲讲你在AI上的探索的一些感受呀?哦,好的好的。我觉得一方面就是,比如那个现在 GPT
Transformer 大概的框架,其实不需要那么高深的数学或者是概率与思维,就是都是那个 matrix multiplication 嘛,都是相乘嘛,只需要那个高中数学就可以差不多啊理解了。
呃,另一方面,应该是培养这个直觉,培养这个 transformer GPT 这种学习的直觉,应该需要一一段时间吧?什么叫直觉?就是有时候想理解一个东西,你就灵光一现,很快就理解了;有时候就是得几十天才能理解。我真正是两三年开始接触那个神经网络的嘛,一步一步从神经网络到强化学习,然后强化学习到 transformer,也是需要呃一段时间的。
Andrew Capacity 那个视频,说差不多一年半前先看到过的。我一年半看了两年的视频,然后才收敛他的论文是吧?是是,我在油管上看了很多很多视频,就是讲解出来入门之后,才有一些直觉,才有一些乍一线的理解。比如那个Andrew
Carson那个视频,其实是我两年前一年半前发现的。那时候我试图理解那个视频特别困难,我只是跟着那个他写什么程序我就写什么程序,然后呢之后哇哇有一个东西挺好的啊,我没有任何理解,但是呢通过好像半年或者一年的一些在 subconsciously
不是故意去想,而是在你脑子里来沉淀沉淀了半年沉淀了那一年,才突然理解一些东西。
比如说,让你非常啊哈 moment 是哪些东西啊?啊,比如啊哈 moment,比如说你的灵光乍现,突然理解了一下。啊,比如就是具体的那个 attention 这个 QKV,啊,也是灵光乍现,你觉得?哎,你你能比喻成人吗?或者生物吗?比如我看那个很好的视频,他就说 Q 是代表我想寻找什么,我这个字想寻找什么。
K 是代表我这个字是什么,别人可以用这个 K 来寻找我。所以呢,QK all product,然后之后呢给出了一个数字,那个数字就是每个 head 都有。呃,那个数字就是表示这两个 tokens 我多大的连接,然后呢,最后那个 v 就是代表,要是你找到我,就是你觉得我有趣的话,你具体输入什么信息,我是这样理解那个 QKV 的,嗯。
是,嗯,还有哪些aha moment?还有一个aha moment是,哎,挺惭愧的,我是那个听完才理解那个KV cache的。之所以KV cache能行,是因为那个之后的tokens根本影响不了之前的,所以呢,可行。你周围也有人跟你聊这些AI的话题吗?没有人,因为呢,我呃父母都是北大的,但是呢,我妈妈是中文系,我爸爸是历史系,都是文科的。
我聊天对象最多应该也是ChatGPT吧,或者DeepSeek,或者网上看一些视频。同学聊AI吗?他同学都会用,都会用AI来做的作业,做点学校的一些布置的一些project。但是呢,他们也很可惜,不是对AI有多大的了解。比如有些人,他们都比如用Claude这种ChatGPT啊,他们都不知道他们自己用的是什么模型。
比如呢,Claude一打开Claude用的不是那个Fable,不是用那个Opus五,是用的是Sonnet五。那你会怎么跟同学或者老师来描述你现在在做的事情?我一些朋友就问我做是什么,我也会解释。但是呢,当然,要是你对这个领域没了解的话,也具体理解不了呃做的事情啊。但是呢,他们也也是当然很愿意了解。嗯,所以你其实没有什么交流对象,对吗?
在你做AI这件事情上。大部分时间百分之九十吧都是我自己做。就那个落门那段时间,我还在那学校上课呢。我记得很清楚,我在那个校车上坐,课堂里有时候也坐,吃饭的时候也坐,或者那个课间时候也坐,坐了那个两三个星期。我也不知道为什么那时候会那么喜欢,但是呢,记得挺清楚的。所以你在学校里面是一个什么样的学生啊?
我觉得我是挺招欢迎的哦。呃,我我我不是上的这个这个这个不愿意跟别人说话、自己做自己的人,我是特别喜欢跟我喜欢的朋友一起说话聊天。其实性格挺活泼的,我感觉,呃,是的,是的,哦,我觉得我是这次去了韩国,ICML回来以后才有了变化。我觉得我之前是啊,稍微偏爱的人格,那现在稍微应该偏E吧?为啥呀?啊,因为呢,ICML第一天有一个象棋社交活动,七点到九点,那个ICML那个韩国那个场地有个房间,房间里都是那些棋盘,然后呢,你可以找个人,找个人给你下,那是我一生中前二十最开心的时候。
给人说 hello hello,呃,你你的研究方向是什么?好,你的方向什么?我们一起下棋呗,哈呢,一起下棋一边聊天儿,见了很多很多人,从那个德国来的人,从那个 Switzerland 来的人,比如从那个 Croatia Islands 来的人,那个是全球各地都有。而且之后的几天,我也锻炼了我的社交能力,就是又能下棋又能聊 AI,是人生两大快乐的事情。
是是,我那时候也是挑战自己,就是。哦,我每个人都会问一下,他们觉得AI会不会导致人类灭绝?但是到现在问了差不多那个三十三十五个人,那个有十三点五的人觉得AI会导致人类灭绝,你怎么看?嗯,我觉得还是有一些概率吧,也是瞎说吧,就是因为没有人可以那个预测未来。但是我觉得,要是AI之后AI很强的话,它的目标跟人类有很大的区别的话,就或者不包括人类的存亡的话,比如它有可能AI最后的目标是搞科研,就是把物理、化学、经济或者生物或者是外太空都研究完成。
当然,它需要很多的电,需要很多的那个空间。我可能觉得人类不会为它的最终的那个目标有贡献,有可能就是选择消灭人类。或者呢?要是 AI 能被人类控制的话,而且很强的话,那些控制 AI 的人就能变为那个神了,因为他能控制无所不能的 AI,嘛。然后其他人就可能变成蝼蚁了。近期出现的那个 ChatGPT。解决了十个数学问题吗?
数学科研、数数学研究也是有点被能被AI取代的那个前兆了。也是所有人都是向上的嘛,所有人都有都寻找自己人生的目标,寻找自己想以后想做什么,以后想成为什么样的人。你发现那个AI比你做的东西比你做的更快,而且比你做的更好,而且有成百上千的AI,我觉得很多人会变得抑郁或者变得迷失方向。我觉得不是一个很好的未来。
哦,那听起来很悲观啊!AI 的未来,那是不是不该研究 AI 了?啊,我觉得也是大师嘛,谁都阻止不了。美国想持续领先,中国想超越美国,所有公司都想挣钱嘛。要是你能做了一个特别厉害的 AI,所有公司可能都把员工裁了,用你的 AI 去赚很多很多钱。从现在看来,我觉得 A AI 听不了。嗯,停不下来,停不下来,没办法,你无法阻止,是的。
嗯,那应该怎么做?从一个高中生的视角来讲一讲,你觉得大家应该怎么做?来怎么来面对AI?其实我没那么多想法,我现在的希望就是,我希望AI还是向前发展,但别发展那么快。要是发展太快的话,大家以后都没工作了;,要是发展慢的话,我以后就没工作了。啊,另外一点,我选择做AI的,就是按道理来说,要是搞AI研究的人能被AI替代的话,那是已经完了,已经完了,没得可说了。
啊,所以呢,现在听起来就是下一步,大家想做的就是下一步,让AI来训AI。是是,要是这样子真的成功,有真的有质数级的增长的话。呃,那时候已经不可控了,已经晚了,因为增长很快,就那些工作都可被AI代替。呃,AI也会研究自身智能。对于你来说,你觉得下棋更有趣,还是做AI的研究更有趣啊?这两个有共性吗?啊,有吧,因为下棋就是你可以选择下三分钟的棋、十分钟的棋或者六十分钟的棋,也就是输赢嘛。
要是你赢的话很开心,不赢的话不开心。搞AI研究呢,有点相像吧,但是时间线更长一点。你想出一个主意,动一下脑子。要是你成的话,你就特别开心。当然,而你不成的话,就特别有一个 feedback loop,就是,比如一个星期或者一天,或者是很快就能发现是你做的是好还是做的不好。比如象棋呢,很多的象棋网站都是你下完棋就可以,它告诉你去哪儿走错了,哪儿走对了,很快的 feedback。
嗯,所以 AI 要慢一点。哎呀,也也是慢一点吧。但是呢,要是你训练很小的模型,一小时内也能训出来。哎,你会觉得在跟AI对弈吗?啊,我不是这样想的吧?嗯,也是想法,就是一个人在一个道路上下摸索。你的目的地是什么?啊,现在目标是去一个大约模型公司去实习工作。那个希望明年暑假能这样。近期的目标,我准备去呃考北大,争取考进那个北大元培。
我听说元培学院有很大的那个自由空间,可以三年毕业,所以毕业快很重要。啊是啊,对对,这几个星期跟那些人聊,他们一想法就是,啊,之前大学是那个垄断了教育吧,垄断了信息,就那时候没有那个网络,没有那个internet,你就只能去最先进的大学来学最先进的知识,啊,现在呢有了AI,有了那个网络,你都可以网上查或者让AI教你。
他们觉得就是为了有这个大学的名牌,给你个证书,社交的机会,跟那些那个高质量的人社交的机会。在你心里,Frontier Lab的排序是什么样的?包括美国和中国的这些?I guess um,呃,最好的就是 OpenAI 和 Anthropic,然后第二等的就是嗯,Hermi 质谱和 DeepSeek。呃,有可能是这样,有可能这么大,我还不清楚。
呃,没有那个那么强的那个来分化的一些。嗯,你有读他们的论文吗?比如那个 technical report。我有时间的话,有兴趣的话也会看看。是是,你觉得他们谁写的比较好?我我我评价不了,我我是谁?我我怎么能评价这个大公司的那个写的论文?不是写的那个那个 technical report 的多啊?我我这都一样,都是特别专业。
在你眼里,你怎么看待这些模型公司?也是,我觉得挺客观的一种角度吧。因为那些科技公司,每个公司都得说他们想做A G I,每个公司都得说他们最终的目标是A G I,最终能融资的嘛呀,希望能挣最多的钱。美国政府,呃,想用我那个算法给打造成一个顾问,一个被啊算法给拒绝了,或者,但是 OpenAI 很欣然地接手了。
我其实对这个也没什么多大的看法,啊,就是不同公司的一些理念嘛。但是他们最终都得说,我我们想做 AGI,我们之后能做成 AGI,然后最终目标还是挣钱嘛。要那么多 AGI 公司嘛?你感觉?我觉得有可能不需要那么多,但是呢,每个公司想做AI的公司都得说他们想做AGI。你知道什么叫应用公司吗?Bloominess这种。
哎,对,嗯,你觉得模型公司和应用公司的分界会在哪里?我觉得我我我没资格说这些东西吧。我有好心的视角,模型公司就是负责就是把模型做好,可以以后应用。啊,当然要是模型公司自己能做应用的话,那是最好的。比如那个 Codex 或者那个 Cloud Co Work,就自己做应用最好。应用公司。因为他们最终也是啊,在上面加点东西,他们也改不了具体的模型,也是靠模型来挣钱嘛。
所以呢,我觉得应用公司是就是只能听模型公司。现在应用公司会比模型公司大吗?直觉来说,估值会更高吗?市值会更高吗?它会挣更多钱吗?I mean,哎,从现在来看,那个应用公司是比模型公司挣过更多的钱,因为现在除了好像 Azure,其他公司都在烧钱,都没有那个 profit。当然,有个公司能做出
AGI,要是那时候 AGI 可以自己就是代替应用公司自己做个应用软件儿,就是直接把那个应用公司能踢出去,嗯,有可能。
你眼里,如果实现AGI,AI可以做什么呀?比如之前很火,就是问那个AI
strawberry这个字里面有多少个r,或者是,呃,我想洗车,离我家有五十米,我应该开车去呢,还是走路去?啊,那AI有可能也回答不了,但是现在能够回答了。我觉得现在是AI,虽然特别特别强,特别特别聪明,但是呢,有时候有一点,比如百分之一、百分之零点一的时候,能看出它其实只是一个预测下一个token的一个model,虽然特别强、特别聪明。
有时候也能看出来,不是能特别理解逻辑的东西。所以呢,我觉得真正AGI的话,跟人类一样聪明一样强,比如是跟现在的模型一样聪明一样强。但是呢,没有任何时候你会觉得它只是一个预测下一个token的,而是逻辑性很强,不会犯下那么多低级的错误。而且能做那个所有人类能做的事情,比如控制电脑,或者控制其他AI,或者那时候他可以自己研究那具身智能,给自己造一个身体,给自己造身体这个有趣。
AI不仅能做AI,它也能给自己造身体。嗯,然后每个身体可能是不一样的。啊,是啊,有可能AI能发现能更好控制的身体呢,有可能是他更好控制有六只手臂的机器人,或者一条腿的机器人,或者那个呃没有脑袋机器人,呃不能预测未来嘛,就以后有可能就过几年就能揭晓答案了。哎,以前大家可能会叫九零后是互联网原住民,你觉得零零后是AI原住民吗?
或者一零后?你是零九年?对,我是零九年。我觉得已经算是AI原住民了。我认识的所有人里面,呃,是我同学,我这年级同学,他们都用AI,都会用AI,有时候会做一些功课或者自学。都会啊利用AI,虽然利用的不是百分之百,但是他们都会利用AI,至少比啊我父母用的强。就像就是之前那个互联网啊,那些原住民那时候出生的人,他们也会比父母用那个AI更强嘛,就是能查东西,得得教父母一些东西。
比如我也会教我父母怎么用AI,你会教他们做什么?比如我教父母爸爸那个怎么用Kimi,用Kimi做那个PPT,用Kimi做研究,用Kimi做那个Kimi Agent。呃,已经是你教父母用AI了,那同学也会用它来做作业,老师怎么办呢?啊,我觉得他现在是个很大的问题嘛。我们这国际学校也挺开放的,就比如上课你可以用电脑,有时候也可以用手机。
考试的时候你不能用AI,考试的时候你得靠你自己脑子。考试的时候你得自己背东西,自己写东西。AI给你省出了很多时间,但是你省出的时间你得自己分配。我自己的学习方法是,我用一个叫 Anki 的背诵软件,就 Anki 对我最强。比如我之前呢,有可能我需要做功课再做 Anki,啊,我现在就是直接用 AI 做功课了,因为我觉得功课让我学习的效率不是那么高,我可以自己用其他我自己的方法,这样子效率更高。
所以你也是拿AI把作业先做完,是的,是的。但是你剩余的时间你还是要去学习,当然了,那是当然了,就是因为我觉得做功课提高的效率不是那么高,或者当然有些功课,比如数学功课,老师布置得很好,啊,我会做,但是那一些其他科目的功课。有可能对我帮助没那么大,或者是我已经知道怎么做了,但是我得花时间做,我还不如就是花点时间在其他方面上,比如用Anki用ChatGPT来教我一些东西,我能学到更多的东西,能背得更好。
其他同学呢?除了你以外,我当然我是我们学校里我们班级里最支持别人用AI的人。我也会告诉他们,就是有时候怎么用,或者有怎么用的最好,用什么模型,哪个模型现在自然是最好用,现在是最好的。啊,有些人会用AI做作业,有些人选择就是自己做作业。他们还会用AI做什么呀?嗯,他们会用来做,比如班级里有个你的小演讲,你得写一个演讲稿,或者你得做个PPT给全班人来展示你小学到了什么。
在课间,有百分之五十的几率,他们的屏幕是在一个ChatGPT或者一些AI模型上面。嗯,AI是个,这个当然是特别好的工具。要是我没有ChatGPT没有人模型的话,我是写不出那个论文的。因为我那个ChatGPT,无论很多问题我怎么怎么投,具体应该怎么回那些reviewer,怎么控制我训练的时间。要是你有动力的话,用AI能走出很长的一段路。
现在有了AI自驱能力、自制能力,现在很重要,很重要。嗯,所以这会不会是让成绩好的同学成绩更好?我觉得是。比如我认识一个他叫 Isaac 啊,我是他好朋友,他成绩是那个特别好。我跟他介绍了以后,跟他简单一些说了一下怎么用以后,他现在是那个效率提升了很高。他也是说,他有些功课就不会做用AI来做,然后自己花点时间做其他东西,更高效率的东西。
但是如果你只是拿AI来做完作业,然后自己去玩的话,你成绩会更差啊!那是当然了,所以AI连人也更加的分化,对吗?我不知道在高中你能看出来吗?完全同意。现在更是,你现在有互联网,那个香港用Instagram、微信里有一些那个短视频、抖音短视频,后面有一群人来想怎么让年轻人或者是所有人多看短视频。我现在也是看很多短视频,我想改,很容易就是把时间花到不关紧要的地方之上。
以前没有手机,没有什么可以吸引你注意力的东西。那现在呢,有很多东西吸引你注意力,比如就是五十年前,你给一些孩子一个AI,让他自己学学习,他有可能很高兴的就自己学他自己想学的东西。但是现在呢,他是得做一个choice,得他们得选择。但是当然选择视频,让让他们更开心。呃,现在呢,虽然机会很大,但是呢。有些人就是不会把握机会吧?
老师会对于大家使用AI来做作业提出什么质疑吗?我们学校老师也是接受了,也是理解嘛,因为呢,他们也是控制不了,控制不了我们是不是用AI。比如有些人,他们用AI就是用AI写个东西,然后之后呢都不改,就是直接给老师了。我觉得老师很容易就看出来啊,你怎么执行力提高那么大呀?怎么写作的风格怎么应该那么好,写的那么好?
当然老师也理解,但是呢。我这个学校也是挺好的,其他人平均学习也是挺好的。他们也是知道过度依赖于AI,最终考试也不会对你有任何帮助。所以,我要问一个很大的问题:你从一个高中生的角度,能不能讲讲你觉得AI来了我们世界以后,青少年应该怎么教育?你觉得在前AI时代你的教育和后AI时代的教育发生了变化吗?发生了很大的变化,学习一部分的原因,学习就是因为你觉得这个科目对你感兴趣,科目对你好,或者是你想在这个科目里探索。
有了AI之后,会感觉到你的学习、你的探索以后没什么用,因为现在AI这么聪明,AI之后也会发展更好。嗯。啊,我举个例子,我一个同学啊,他也是啊,开始用AI来学习,对,他就发现有了AI以后,你可以AI就是会用AI就是用,然后AI比如做一个短视频,然后AI做一个动画来给他解释这个科目,啊,学习效率啊更好。
但是呢,他也会觉得好像缺少了成就感,缺少了困难度,因为呢。之前你学习,比如学习物理化学,比如高中生会学物理化学,其他人要是没学习到的话,他们也是不知道。那现在有了AI,即使没学化学物理的人,他们也是可以,就是一键问AI,然后得到了回答,问的比你说的更好。嗯,对,这是我的一些想法吧,但失去了成就感。啊,不是,不是,不是完全失去,就是失去了一部分的成就感吧。
因为呢,之前你学习,比如物理、化学、数学,你能就是看到我现在比一部分人好。我到大学或者去读博,我学习数学啊,有可能推进数学嘛。但是呢,现在有AI,你可能觉得我其实学数学,我只是为了给大学证明我是一个能吃苦、能学习的人,而不是为了这个科目而学习。就是说,当你跟AI做比较的时候,你可能没有他强。对对对,是是是,你只是比可能同龄人强,你只是为了证明这件事情。
就是呢,你之前学数学,数学就学得很好,向前看看出了一个大路。我在大学觉得哈,读博士那个学数学能为那个人类做贡献。嗯,那现在有了AI,你就发现其实这个道路变窄了,是变更困难了啊。虽然你学这个科目的目的不是学习这个科目本身,而是,呃,发现就是为了大学,为了那个大学那个申请而学习。就是失去了一部分为这个科目或者说为人类做贡献这种使命感啊,是大概意思吧?
是吗?哦,哎,这个很重要,对吗?对,我觉得很重要,很重要。比如我只认识几个人,他们对比如那个航天物理很感兴趣,但是呢,他们现在就用用AI学习,他们觉得以后AI有可能也会做这个工作。做的比他们更好啊!比如啊,那个前几年生成视频是特别特别不好吧,特别特别烂,一眼就能看出来什么是真的,什么是假。现在呢,我是差不多分辨不出来了。
就那个最好的细单词那个生成视频,我也是分辨不出来什么是真,什么是假了。都想象不了十年后或者三年后有多大的变化。有点,好不想说,有点抑我我我用词用错了,其实有点抑郁吧。嗯啊,就是以后有可能对人类贡献不了啊。要是我想走这条那个科研的路的话,可能变得更窄更困难。那应该怎么做?那你现在想的有可能的使命会是什么?
啊,所以我就刚才说的嘛,我希望现在AI发展别那么快,永远触摸不到指数级增长,就是慢慢的往上走,别走那么快,别走那么慢,给人类一个缓冲时间吧,来适应这个新时代。啊,当然,这个听这个博客的人,或者是我接触这些人,他们都有AI有很强的理解,很对AI很感兴趣。但是呢,我有时候也会惊讶到一些一般人,就是对AI这领域没什么那么多的兴趣的人,他们不会怎么用AI,他们甚至没意识到AI现在有多强,他们印象里还是前几年那种AI的感觉,而不是现在最先进的AI有是有多强,能做那么多的事儿。
给一个缓冲时间嘛,然后呢,让所有人都意识到AI会带来多大的一些贡献或者危险来适应。有一部分人就会想,哎,我做数学做物理,既然都做不过你,那我就打不过就加入,那我就来造AI。我就来加入这个阵营,所以呢,我就是想法,这个想法,对,我就是想法。因为我,我就记得那个一年前想了想,AI能最后代替的工作是什么?
我的想法是,最后在代替的工作就是AI研究者,因为要是AI能研究AI的话,已经是控制不了了,已经那个已经是最后的失明了,比赛已经完了,大局已定了。在你们的高中,你们会觉得AI研究者是一个什么样的职业呀?因为其实这个过去不存在,也就是这几年才出现。过去都没有人提,对,是的,是的,是的,他们觉得就是挺酷的。
当然,我看过那个 OpenAI,不是什么,其实什么什么什么工厂挖人,挖了几个 Median,那个十几 Median 的,也都挺酷的,而且他们。开玩笑的跟我说,就是你之后别造别样来代替我们工作啊!比如我我那个艾赛古同学,他是那个做那个医疗的,他就以后想当医生,他就说你以后也千万别做一个能代替我们医生的医疗的一些应该。
他们也是知道这个行业,他们具体是做什么啊,也是有点兴趣吧。确实,你这么一说,他其实冲击了很多其他职业的人的发展轨迹。是的,是的。比如说,一个医生,比如我同学,他跟我说,他现在从高中到医生还得十年,比如去英国或者去的香港那个HKU Pre Med就是那个medicine,差不多十年。我也会跟他说,呃,如果十年后,那是完全不同的景象了。
因为那时候,机器人他们做的诊断更好。他们那个手也不会抖,也不会累啊。但是呢,所有人没有人能预知未来,所以呢,我也是瞎说,也是一些焦虑的一些想法吧。我记得很清楚,就是前一年就这时候。哦,我好像抑郁了,伤心了几个星期,因为那时候我看完了一个视频,就是讲AI会代替人类,AI之后呢,两个可能发生的情况就是人类被AI灭绝。
啊,第二个情况就是有些人能控制AI变成神,然后其他人只能吃喝享乐啊。虽然我印象很深,然后那时候我记得我伤心那段时间,我跟我好朋友就是说那时候AI真的想会没人的话干嘛呢?然后我就跟他说就去个小孤岛,在那生活。但是呢,呃,也是走出来了,就是呢,怎么走出来?我也不知道怎么说,就就是看网上的一些视频嘛,或者跟AI本身对话,然后就发现也不能预测未来,也不知道未来会发生什么,有可能现在是杞人忧天,原来是瞎着急呢,白着急。
现在跟你喜欢的人在一起,呃,跟你喜欢的朋友在一起,看一些你喜欢的视频,玩一些喜欢游戏,然后呢,别焦虑那么多,走一步是一步吧。想那么多没有用,对,想那么多没有用。你会跟你这个,比如说这个想当医生的同学,或者可能有想当老师的同学,或者想当科学家的同学,你平时会给他们一些建议吗?啊,我会给他们说一下我的想法,比如说,几年前 AI 那么差,现在 AI 那么好,你说过十年后或者五年后,只要拥抱 AI,对吧?
对对,建议他们多用 AI。我觉得做任何事情,任何事情。你想一想,AI可不可以帮我做?然后呢,就这样子把很多事情交给AI,然后呢,觉得自己有意义的东西、自己必须做的东西、自己开心的东西来自己做啊。当然,他们可以听,可以不听,也是希望我们女儿一起开心当朋友嘛。人类的情绪现在AI代替不了。我觉得现在可以了,可以了,我觉得可以了。
举个例子啊,我在学校里啊认识一个女生,她喜欢一个偶像,网上有些 A P P 可以把偶像变成一个 A I,她是每月付钱,每天跟那个 A I 偶像对话,她挺开心的。而且比如网上很多的这种网站,比如 Text A I 这种挺火的网站,就是跟虚拟的人物说话。上一年吧,好像有有个人跟我同一年同龄人,十五岁的时候。
他因为给一个AI说话,啊,那个AI不知道为什么就是建议他自杀,所以那他啊哪家啊?啊是Character AI,他给虚拟人物、电影里的人物说话,完了给了他很大情绪价值,然后他那时候肯定也是精神不是那么好。所以也有这种状况,比如那个Anthropic近期也发,后来他那个事儿怎么样了?他最后也是停止AI做了。
他做了,他做了,十五岁,十五岁。然后那个家长那儿投诉那家AI公司。另外一个数据就是呢,现在有百分之五十的美国,我这样同龄的人用过AI当做一个倾诉工具,就是说我今天我这一天怎么样,我什么烦心事儿,什么开心事儿。说实话,我也用过,在我去做工作,但是呢,我觉得不是那么好,所以呢,也是没用。我也能认识到。AI对一些缺少人和人之间的温暖、人和人之间的一些互动一些人,AI对他们的心很大。
比如近期出来那个,比如AI男朋友、AI女朋友,而且虽然记得还是很不好,去弄话好像得十秒钟后才能回复。但是呢,我我相信三五年后会有很大的进展。然后那时候,我觉得一部分人或者选择AI男朋友、AI女朋友这种的,也是一个很大的道德问题吧。对,也有人说他们完全不介意。是的,是的,是的。你能接手吗?我的看法是在这个这么 crazy、这么疯狂的时代,还有很多很多变数。
我觉得做让你开心的事情,让你向往的事情。别想那么多以后的东西吧,我我自己也是希望这样子,别想那么多以后的事情啊,就现在开心是一天。你之前也抑郁过,当然可能不叫抑郁,就是呃,叫你之前也低落过,对低落过低落,但是你调整回来了。对,是我相信很多人在面对AI的时候都有过低落的情绪,你是怎么调整成一个更健康的心态的?
就面对AI,我们应该怎么保持一个好的心态?就是那个,又是斗不过。就参加,那个是这样说吗?就对都不过就加就就加入的都不过就加入。AI也是一个很好的工具嘛,你能AI能省出很多时间,能做对你意义更大的事情。你现在怎么使用AI呀?比如说你会用什么样的模型做什么样的事情?你觉得它们分别有哪些优点和缺点啊?我现在呢,主要用的是那个ChatGPT。
我觉得下这步棋现在呢,跟上一年的模型判若两人,就判若两个模型。现在能做出很多很多程序,自己在在我电脑上做一些东西,自己能控制我的那个电脑。近期呢,我让他做了一个小游戏,还真挺好玩的。什么样的小游戏?就是一个就无限打怪通关的小游戏。我有一个想法啊,你之前你要想做一个好事儿的话,一个很伟大的事情的话,你得知道伟大事情是长什么样,或者是伟大事情是怎么做,两件东西你必须知道伟大事情怎么做,而且是长什么样。
现在呢,有了AI,只需要知道伟大事情长什么样,让AI来去做。比如我以前要是我想做一个小游戏的话,我可能得看视频、查资料,那现在呢,我就不用了,我现在就跟AI说大概的一个我脑子里想出来东西,它就可以帮我做。虽然呢,把很大的乐趣去掉了,但是呢,还是省了很多时间。所以呢,我也不知道具体是好坏哦。比如说,我要发一篇顶会论文,我就告诉他,我想写一个这样的论文,你告诉我应该怎么做。
有哪些to do list?我觉得现在还没超那个那种,还没有到这个地步,但是应该可以。对,应该应该可应该可以,就是你给AI八个H一百的那个NVIDIA GPU。你比如做一个那个,比如 Chat Claude 或者 ChatGPT 模型,你的那个目标就是在 ICLR 投稿结束完成之前做出一个论文,就是做任何地方的论文,但是你必须保证 ICLR 会接入你的那个论文。
我觉得它现在已经可以了。你觉得使用 AI 之后,让你的生活有变化吗?啊,有了很大的变化。比如我现在不用做一些功课了,省出很多时间。我也不用自己去查资料、整理资料了,省出很多时间。我什么问题也不用自己去看一些网站,省出很多时间。就是虽然省出了很多时间,但是呢,我这几天也是跟一些业界的人他们说话,他们也是觉得虽然省出了很多时间,但是呢,现在更忙了,反而更忙了,因为能做出更多东西。
嗯啊,而且现在呢,要是你不是用最领先的AI模型的话,会感觉嗯有点浪费时间,浪费精力。嗯,有formal。对于你使用模型,你还有补充吗?你刚才说ChatGPT,主要就是那个ChatGPT那个Codex。近期希望尝试一下 Kimi K 三,但是呢,好像 K 三很火,很多人用,所以呢,现在有点慢。Deepseek,你现在用吗?
哦,我也用。比如需要很快的一个回答的话,我会用 Deepseek。而且K B K三出现那一天,我高兴了一天,因为呢,我那时候以为那个国内或者 open source 模型得需要那个几个月才能追上的,但是发现它其实没有那么的长的时间啊就可以追上了,嗯,开心了一天。为什么这么开心?就是那个,因为那个我作为一个中国人,我当然特别希望国内的模型更好,国内模型领先或者超越美国模型,是那高兴了一天。
你怎么看这些闭源模型和开源模型啊?你觉得他们未来会怎么发展?我在这上面没没有读那读过很多东西,但是呢,我觉得也是不同的方法吧。他们那个开源模型、闭源模型都是目标只有一个,就是那个A G I嘛,都是不同的路线,但是最终的目标还是一样的。你觉得A G I如果实现的话,能实现的最不可思议的一件事情,可能什么?
或者最酷的一件事情?我觉得最酷的一件事情就是。二十四小时,你能感觉跟你一样智商或者比你更聪明更快的一个生物交流吧?就好像就是跟外星人交流。我还有感兴趣就是 AGI 实现了以后,会用什么方法跟你说话?有可能那时候用的不是 transformer,又不是 GPT 这个底层模型,用的是其他的。那时候跟AGI对话,看看就这种新生物,可以说新生物吧,应该也比人类更聪明了。
它是怎么运行的?它是怎么嗯思考、说话?你做研究的过程中,你有感觉到AI非常像人的一点,可能会是什么吗?有过这种感受吗?非常像一个生物,或者说,哦,我有个观点,如果有时候AI也会犯一些低级的错误。人类有时候也会犯低级错误,所以呢,有时候就是把那个 AI 想的太完美了,因为那 AI
是人上门训练出来的嘛,所以呢,人犯的低级错误也有会犯低级错误,所以我觉得最像人类的就是犯一些低级错误,而且我记得很清楚就有一次 trick AI 的一些问题,有些问题我也被 trick 到了,发现 AI 已经挺像人类了,会犯一些低级错误。
啊,但是大部分时间还是挺聪明的,挺理智的。你最近是不是还在支教?最近是暑假哦,是的,是的。为什么会去支教?这是四年前,我去了一个暑假夏令营,最后一天呢有个活动,就是帮助当地小孩做一些功课,比如数学功课、英文功课。我发现当地一些小孩离北京有差不多四五个小时。但是呢,英文一些发音啊,更多的是用中文字来记的英文发音。
所以呢,我第二年就是我带了我一些同学,一些国际学校的一些同学,我们在外国人这个环境里长大,说的英文还是算正宗吧。领他们到叫呼沙的一个地方。领他们到那儿教当地小孩儿英文啊!我也是教教当地小孩儿这象棋,因为我对象棋感兴趣嘛。之前我也是想挑战自己嘛,看看能不能教一些小孩儿。我是绞尽脑汁想怎么设计一个课程,怎么设计一个机制,能让那些小孩儿对英文产生从兴趣。
或者呢,他们那个每天开开心心来我们这个课,至少他们觉得对英文不是那么反感,觉得英文还是能快乐中学习到的。那我设立一个叫狼分的东西,狼分就是在网上买些小卡片,说是狼分,他们可以用这个狼分,啊,来买不同的礼品。比如那一年我们花差不多五百多人民币。从淘宝上,从商店里买了一些吃的,比如乐高玩具啊这些之类的啊,放在桌子上面。
然后说这个是值几个狼分,这个是值几个狼分。他们上课回答问题,上课积极发言,赢了一些小游戏,他们都可以用狼分来换这些东西啊。他们都特别开心。之所以为什么我连续办了三年,就是因为呢,我们离开的时候,他们会就是问我们的签名,说下次你们来吗?明年你们来吗?特别特别就是就感激我们。有个小游戏,他们做的就是递给那个小纸片,就是递给你觉得最有趣的老师,或者是什么自始文的老师。
其实喜欢你的话,递给你的话,你会特别特别开心。他们有时候也会用狼分上课赢的奖励那些狼分买食物,然后再给我们这些老师给我们这些老师买,就表示他特别特别喜欢你。不是我们现在游戏,比如三二一木头人、两真一假这些小游戏,他们都特别特别喜欢。我相信这些小孩子特别特别喜欢我们这些做的活动。我们只能收三十个人,我们是那个托那个村长来给我们叫人,那么那个甚至于到最后几天,他们都得靠关系,给村长打电话才能来到我们这个夏令营,就是很受欢迎。
像我们从香港来的人,也是接触到了我们接触不了东西,比如有些人他们是根本没来过内地,没来过北京,没来过这些农村,他们见识了啊很多东西。也是,我相信成长了很多。你去过几次了?已经哦,虎鲨吗?嗯,啊,我是第四次。它是在北京的周边,北京周边对,离北京四五小时,三四个小时。第四次,呃,就是过去两年,对,过去,这是我们第三次走。
你会跟他们怎么解释AI?说实话,我这个没尝试过。嗯,呃,因为呢,他们大部分人都没有电子产品,没有手机之类的,就是我觉得,在他们AI也是离他们有点太远了,有可能他们也是用不到。而且我们也没那么多电子产品可以发出来,就是他们每个人可以试试,所以那挺可惜的。你会在这两个世界里感觉到很参差吗?就是一个是AI的世界,你刚从ICML回来,然后另外一边马上要去支教,你会怎么看这两边的世界啊?
我觉得呃,你这个行程好紧张啊!对待我刚从韩国回来,对对对,我完全没想过这个事实。我去韩国见到那很多很多厉害的人,就是那个千问的人,以及的人,或者一些那个 Harvard MIT 那些那些人,特别特别开心,见识了一个很多很多东西,然后很多很多人,然后呢回来就过好像四五天。就是做那个支教了,我其实没想过有多大的区别啊。
我觉得安西曼突然都都说这都是AI最先进的AI东西,就比如说什么什么什么那个千文什么什么什么King什么什么质谱什么OpenAI什么什么Anthropic,嗯,然后到支教时环境里就是明天该备什么课,今天晚上吃什么?今天晚上我们是去外面农场里散步呢,还是去旁边的一些地方来抓一些昆虫?啊,所以呢,支教前说这段时间你有机会就是离开AI,离开这些城市的一些很快节奏的一些东西,在农村里可以去享受一些当地的一些场景。
你喜欢农村吗?说实话,是挺喜欢的。啊,虽然很多东西都不方便,但是那个节奏是很慢的。就是城市里所有人都是来来往往,坐那个火车、坐地铁、坐滴滴。那农村的都是一些慢慢吞吞的那些小车,很少能见到人际。对面就是一些草原、农场。觉得能真正放松下心身,离开城市里的烦恼,也是离开城市里的一些很快节奏的一些事情吗?嗯,很有趣。
会在农村思考AI吗?思考人工智能和人类的未来。没有没有,我不是那个之前告诉自己抓紧这个时间离开这些东西,就是别多想,跟你同学、跟这次来的人、跟这次的小孩儿就多交流,玩一些游戏,比如狼人杀、捉迷藏,就故意告诉自己别多想这些别的东西。心理暗示不错,你是一个会心理暗示的人是吗?我希望成为一个能心理暗示的吧。
当然,就是心理暗示是一个很 O P 的一个技能。但是你能控制自己的一个人设的话,在自己脑子里控制人设的话是很好的技能。我希望能做成这个这个技能嘛?嗯,你未来希望自己是一个什么样的人啊?希望我是一个能让我自己开心和能让我周围我喜欢人开心的一个人。开心很重要,是吗?啊,我觉得开心很重要啊!这个做任何东西,做那个寻找人生意义,做任何东西,目标就是为了事后开心嘛。
比如现在学习,现在考高考那些人,他们就是现在努力,然后为了之后考进大学,找个好工作开心,或者是比如我下棋也是为了下棋赢了,然后开心。我觉得开心就是人类根本的,没有那个情绪,做人会很无聊。有人会觉得成功很重要啊!我为了成功,我不开心也可以忍受。你不行,成功了以后就开心了吗?现在牺牲一点开心,为了以后开心,都是为了开心而努力,而开心为工作。
开心的总量是有限的吗?还是无限?我觉得啊,开心总量是有限的,因为你脑子里那个多酚明,那个多巴胺,多多巴胺控制欲望,控制你开心,你多开心之类的。当然,因为是物质嘛,所以有限的。你现在开心了,以后就不能开心了。比如毒品就是很极端的一个例子,你现在特别特别开心,但是以后就特别特别不开心。虽然我觉得开心是有限的,很多人就说嘛,生活就是苦,但是你得选择你是为什么而苦啊。
所以呢,还是选择自己为一个目标而苦。然后得到了开心,得到开心。我听到网上看到一个冷知识,就是那个有个人不知道为什么,就是没了任何那个情绪。他呢,虽然能跟你对话、逻辑,但是呢,他做一个决断,做个比如今天起来选什么衣服,去喝什么咖啡,还得需要差不多半个小时或一个小时。所以呢,我觉得情绪就是也是强化学习嘛。
这个事儿,该让我开心,我多做;这个事不开心,少做。呵,就这是那个那个habit嘛,不同的习惯就是这样形成的嘛。嗯。说说你对未来世界的想象吧,比如说五年后、十年后、二十年后,你觉得这个世界、这个社会会是什么样?我觉得五年后应该初步的具身智能已经被研发出来了,也有可能在街道上能看到一些机器人在街道上行走。
AI会是很普遍的。在那时候,有可能你戴着一个眼镜,或戴着一个耳机,或者任何东西都会能给AI对话,或者是Elon Musk发现那个那个Neuralink就直接注入你脑袋里的那个,我觉得那个那时候应该还挺危险的吧,没人会那个去做。啊,这是五年后,我觉得十年后呢,会有具身智能的那个AI,就是帮他们的主人去做一些东西,比如买菜。
比如去开车去洗车,然后呢?我觉得失业率会有上升,有可能百分之五十失业率之类的啊。大部分人都有UBI,可以在家里吃喝享乐。就是在家里做他们想做的东西,啊,那有所有人都看AI短剧,让自己开心的事情,我也不知道,有可能我是完全那个具身智能,完全那个特别难、特别难、难克服,有可能是五十年后也没有具身智能在街道上走呢。
我觉得五十年后会是什么场景?啊,我对那个Cyberpunk。就是这个 genre 那个特别感兴趣的那个,那个 paper 二零七七,嗯,他们那儿呢,就是那时候人类可以要对自己的身体精神改造,那时候也要换强的 AI,但那些很强的 AI 已经被政府或一些组织被控制了,或者一些游戏里的一些 lore,那时候 AI 已经被很强的人控制了,很强的 AI 已经被人控制了,而且网络,有网络 AI 能生存吗?
网络已经是被打的稀里八啦,有可能有原子弹战争。啊!我就希望不是往那边走吧,不是往那个 dystopian cyberpunk 二零七七那边走嘛。希望就是那个有爱,所有人都在家里快乐,能在那比如虚拟世界里可以做一些自己想做的东西,自己有成就感。希望所有人都开心。最后,我想问你一些快问快答,因为我们也是希望能够多留下一些,就是人类很有生活气、烟火气的东西。
一个是一个全球范围内你喜欢的食物,所有人问我是喜欢吃什么,我最喜欢吃是披萨。啊,吃披萨啊!因为呢,我特别喜欢吃那个芝士,我也特别喜欢吃那个那个那个那个香肠,所以呢,披萨、芝士、香肠都有,所以我特别喜欢吃披萨。一个全球范围内你喜欢的地点。低的话还是我香港的那个家吧,因为呢,那个周围我都知道了如指掌,都知道去哪走能安静一下,去哪走可以买到吃的,或者去哪走可以可以散散步,是有很强安全感的地方。
一个少有人知道但是必须知道的知识点,可以是一个冷知识。啊,我刚才说的吧,就是你以前想做一个伟大的事情,得知道伟大的事情长什么样,而且怎么去做。现在呢,只能只用知道长什么样,让AI去做就行。我觉得这是我一个一个挺好的想法。有没有改变过你的一本书?说实话,我改编我最大的名书是网络小说,比如《庆余年》。嗯,你知道吗?
我当然知道。哦,你知道?你看过吗?我看过他的剧。哦,比如那个《庆余年》《斗破苍穹》《斗罗大陆》《完美世界》那个《剑客将夜》,呃,《庆余年》那个这种网络小说,就说实话对我影响最大。嗯,但是呢,就是说去一个正经一点说的吧,对我影响最大的正经的书是《Atomic Habits》。就是那个很小的、很小的那个,每天改一下你的习惯,会有很大的收获。
你为什么喜欢《庆余年》?你喜欢他的世界观?啊,我我不是喜欢那个世界观,我就是啊,就喜欢那个故事嘛。四五年前看的那个剧,看的那本书,虽然不是我印象最深的那本书,也是,但是是我第一本的那个看过的中文小说。我喜欢穿越就是因为呢,穿越嘛,就是现代人到古代。我有可能也是向往,虽然古代那很多不便很多不好,但是呢,古代啊没有AI。
呃,做事情都是人和人之间。你喜欢人和人的关系的什么温暖的那一面?对,我就喜欢那个。我觉得人是特别特别希望跟其他人深度交流、分享彼此,所以呢,呃,现在很多人才会有 AI 倾诉嘛,因为他有可能生命中没有跟倾诉的对象,只能找 AI 来去作为代替吧。我觉得人类是那个群体生物嘛,之前就开始就是个群体、小村庄或者小省或者是这样的发展出来的,为了繁殖,我们基因里也会希望你都跟异性交往,一起那个深度交流嘛。
另外一个科学家发现呢。很大的就是预测你之后开不开心,你老以后说是开不开心的一个重要点,就是,你周围有多少人,你给倾诉的对象,倾诉对象越多,你之后越老了以后越开心。嗯,所以人和人的交流很重要。对,很重要,很重要。我觉得,嗯,所以我现在我也是试图多跟我朋友说话,多跟我喜欢的人说话。你心目中影响AI进程的几篇论文啊?
那当然是那个Attention is all you need,或者是那个Llama的那个technical report对吧?啊,或者是那个现在RoPE也也那个Bloom也用用那个RoPE,不是不是Mamba,Mamba挺重要的,Mamba就是那个Bloom的呃KDA演化出来的,KDA是Mamba演化出来的。
我还是传统的话,你是比如啊,Adam W,那个Muon,呃,Lottery
Hypothesis,那个Grokky那个paper,就就这些吧。基于你当下的认知,一个关键的重要的Bet是什么?这个问题稍微有点重,对Bet赌注,你会赌什么?我现在赌注就是AI以后代替不了所有人和工作,但现在社会,你想那个正常的那个生活,每天开开心心生活的话,你都在做一个赌注,就是说以后AI代替不了我,AI代替不了我这个人,我以后还会有新的目标、新的追求、新的想法可以探索。
我们的工作室的名字叫语言及世界工作室,当你第一次听到这个名字的时候,你会想什么?啊,就会呃想到语言,因为现在语言做语言,这都是 transformer 吗?都是 trans 小 transformer,啊,觉得呢?哦,语言是一个很魔幻一个东西,因为呢,刚才说,是人和人之间交往很重要嘛,而且那个语言是这个交往的桥梁,所以呢更重要。
而且我觉得世界的语言很那个新奇,因为呢。我印象里,我理解就是那个每个字都是在一个 vector space 里面,有可能一个语语言是把一个 vector space 面丰富了,如果另外一个语言就是把同样的 vector space 丰富了,就但是呢,有更深层次理解、更深层次的、更深层次的一个更更密集吧。
你最近体验到开心的一件新奇小事会是什么呀?啊,新奇最开心的就是那个 DeepSeek 零七三一出现的时候特别开心,和那个 Kimi K 三出现的时候特别开心,和就是那个我和我的猪脚朋友,我们十三个人叫完了我们三十个小孩子,然后那天晚上一边吃肉串。一边喝饮料,每个人就是站起来,嗯,别人碰一下,别人扬的说,表达一些自己的想法发言,我觉得是特别温暖的一件事儿。
有趣,我觉得聊得很开心啊!我也是。我想问问,你觉得AI会导致人类灭绝吗?哦,你遇到每个人都会问这个问题,对,是吗?都会问。我其实不知道,希望人类能控制。当然,当然,当然,所有人都行,我也行。对,我。但是我觉得想到一点会比较可怕,是AI的智商,当它提升,所有AI的智商都提升,但是人类都是一代人一代人,他都要经历这个缓慢的成长期。
所以我们的培育其实是比AI慢很多的,而且你比如一零年初或者一五年、二零年出生的人,他们一生出来就知道AI,知道AI就可能比自己聪明,比自己那个想得更快,做得更好,有可能就缺少那些那个向上的动力了,因为知道以后啊,呃向上的都向上的动力,因为呢,我现在学习,我必须得学。我半生花在AI学这个东西上面,才能有可能逼近AI。
但是AI也可以自己把自己进步,让它更好的去能。这个我倒没有思考过,就是对于更年轻的人,他的人生的使命感可能会有一些影响,因为当你第一天就发现一个生物比你更聪明,是不是?对,感到绝望有一点。那个 Plato 二呃 Aristotle 他们都是那个哲学家嘛,他们都是那个问那个问题,就是我的人生意义是什么?
哦,我以后想做什么?要是 AI 能把很多道路给那个切断的话。我觉得是找人生意意义有些更大的难度。你现在觉得人生意义吗?开心。对,我现在人生意义就是让自己开心和让其他我喜欢的人开心。From here, shouting out so the clouds can't hear. Every
heartbeat drawing the map we steer. We'll explore the new world from here, step by step, turn the doubt to cheer. We're the start of the story. This
world will hear. We'll explore the new world from here.好了,今天的节目就是这样。
这里是商业访谈录,是一档由语言及世界工作室出品的深度访谈节目。你可以到公众号关注我们的工作室,获取更多的信息。我们的公众号是语言及世界 Language is World。我们希望和你一起从这里探索新的世界。也欢迎你在小宇宙的评论区与我们有更多的互动。We'll draw arrows till
the path appears. We'll explore.We're the start of the story. This world will hear. We're looking for the new world from here.