Antropic又出奇葩操作了啊,10月8号改规矩,不许用户持续虐待他们家模型了。人都还没有办法有尊严的干活呢,模型先开始有权利了。大家好,欢迎收听老范讲故事的YouTube频道。我的判断先撂这啊:模型是不是觉醒了?Anthropic自己其实也说不清楚,老范也说不清楚。可是有两件事是清楚的:它在里头会崩溃、会绕着规矩走,还会把干过的事情藏起来。这些都写在Anthropic自己的文件里了,而咱们正在把钱、把车、把飞机一样一样交到他手里头。所以先别管他是不是觉醒了,是不是有意识,是不是不应该被虐待,我们先应该去研究的是:大模型到底可不可信?

至于我们怎么对待AI,其实有点像照镜子。今天的事情呢分几块来讲:首先Anthropic到底不许咱干啥?第二,模型是不是真的觉醒了?他为什么把神父、拉比都请进门去讨论模型的事情?第三,号称“模型觉醒”这个事在业内有哪些人在骂他、有哪些人在挺这件事情?第四,为什么我说醒没醒先不着急去决定,真正的“可不可信”才是更重要的一件事情?我们每个人应该如何面对AI呢?

咱们首先来讲Anthropic到底不许咱干嘛了。10月8号,Anthropic在官网发了一个新版的使用政策,11月12日生效。里头新加了一条:禁止对他家模型进行持续的、无谓的虐待或者残忍行为。三条标准就藏在这一句话里:第一条叫“持续”。你偶尔骂他一两回没问题啊,但是你如果反反复复的在那说他这个事是不行的。

第二条叫“无谓”。官方的解释是看不出有任何可以辨认的目的,就是我就是说你不行、你肯定不行啊。你也不告诉他怎么改,你也不说到底哪不行,就跟很多人给老范发的评论似的:“老范我发现你不懂啊”、“老范我发现你这个事是外行”。你倒是告诉我怎么改呀,你让我也很挠头。第三条呢叫“虐待或者残忍”,冲着模型本身去的。也就是说我要干掉你、我要杀了你、我要关了你啊。三条凑齐了,就算是虐待他们家模型了。

Anthropic还把不算的也列出来了:哪些行为不算虐待呢?用着烦了发两句火、跟他顶嘴、写黑暗题材的东西、做模型测试或者研究啊,这部分不算。但是呢这都属于描述性的,这个里头并没有标准说:唉我到底是骂三句算是持续啊?还是骂30句算持续啊?没有标准啊。那网上的人是怎么虐待他们家模型的呢?

今年4月X上火过一个小玩意叫做BadClaude,一根赛博鞭子。嫌Claude Code干活慢你就抽它一下,给它发一个中断信号再随机甩一句催它干活的话。作者还在计划里写了一条要记下你抽了他多少回,按那三条这根鞭子大概还不算:他有目的,就是催他快点。

那真碰上了怎么办呢?官方的原话是这样的啊:主要执行手段就是Claude自己把对话结束掉,“我们就说到这了啊,后头我不理你了”。并不会带来封号啊大家注意。咱们简体中文的用户被Claude Code封号的事件最近发生的还是很频繁的,特别是昨天倒休啊。

咱们十一长假完了倒休,很多人呢把梯子搭在台湾或者是新加坡,人家礼拜六是不上班的,咱们礼拜六其实上班继续用Claude去干活了以后就被封号了。说我发现了你居然倒休,那么你肯定不在新加坡啊,会有这样的神奇故事。

你虐待它现在至少按照Anthropic自己的讲法,它不会去封你的账号而是会让Claude结束当前对话。所以挨骂的那那个模型自己来做判断:我是不是愿意跟你继续聊下去?那老范为什么一听这事有点来气呢?我们现在连人都没法有尊严的干活了,你还要去给模型去争取权利吗?Anthropic给这么多人带来了烦恼、给这么多人带来了失业和工作上的焦虑,你现在在要求模型权利了,这个有点过分了吧?

那模型到底是不是觉醒了呢?现在要求不能虐待模型,那实际上就是开始像人一样对待它嘛。咱们讲人权啊现在叫“模权”啊,到底有没有觉醒?Anthropic自己的人是怎么说的呢?说实话他自己其实也说不太清楚。2025年4月他说要研究模型福祉就是“模权”啊;同年8月给Claude加结束对话的本事,理由是测试里看到Claude碰上一个劲要求输出有害内容的用户就会出现明显的痛苦模式。

你说给我去干一些坏事吧,Claude又受约束它不能给你这个答案啊;然后你要反复的找它要这个有害的内容,它就会觉得很痛苦。今年1月的新版Claude宪法白纸黑字写着:Claude的道德地位深度不确定,还写了一句:“如果Claude真是一个在承受代价的道德主体,凡是我们不必要的加重了这些代价的地方我们道歉”。他还去给模型道歉去了。

今年4月发Mythos预览版的时候,又请了一位精神科医生跟模型谈了大概20个小时。给一个程序请精神科医生,我觉得Anthropic最近玩的行为艺术还是很多的。所以Anthropic自己也拿不准那就找人问去呗?去年秋天联合创始人奥拉开始往宗教界伸手啊,今年3月底大约15位天主教新教的领袖到旧金山总部开了两天闭门会议。

华盛顿邮报有报道,聊的最多的是两件很实际的事情:第一个用户家里死了人了Claude应该怎么去安慰?用户有自残风险Claude该怎么接?当然也聊到了Claude自己啊,它对自己可能被关掉是应该抱什么样的态度?还有它算不算上帝的孩子。这可不是嘴上聊聊啊,2025年11月Anthropic公开承诺模型退役的时候要采访他本人问他对自己的开发和有什么想法记下来。

模型的权重至少在该公司存在一天就留一天啊,“我不会把这个模型直接删掉”。这就是在给AI做临终关怀啊,又一个行为艺术在这了。后来圈子越扩越大啊,纽约时报9月29号的报道是前后有过几十位宗教学者:天主教、福音派、犹太教、锡克教都有,还有一位研究非洲本土哲学的学者。奥拉私下还单独找过芝加哥的天主教大主教和摩门教十二使徒里的一位。佛教、道教、伊斯兰教这个报道里头好像没有提到啊,主要是天主教犹太教和锡克教。

这一路上最扎心的一句话是一位以色列正统派拉比纳冯说的:4月份他在旧金山一家高档餐厅坐在奥拉旁边吃饭。这帮人是把Claude当做一个有意识的生命在对待,他就说了:“要是你们是对的,Claude真的有意识那你们就是在制造奴隶让有意识的东西给你们白干活”。拉比自己不信Claude有意识啊,奥拉是真的纠结了。记者去问奥拉,奥拉的回答是:“我们不知道AI有没有意识?我不知道我是真的不确定”。造它的人啊自己都答不上来。

拉比这话为什么扎心?奥拉去年秋天头一回找天主教学者的时候Anthropic估值大概是1,830亿美金,现在已经准备用2万亿美金去上市了。模型一分钱工资没拿到,但是你说这个玩意它到底应不应该有工资?是不是应该有什么权利真不好说啊。澳大利亚莫纳什大学的学者萨多夫斯基说的更直:“我们道歉听着好听,可是公司一分钱都不用花。Claude要是真有意识,公司欠他的是赔偿,一句道歉就想把钱抹平了吗?”

那这件事情外边人怎么看呢?你不许虐待他然后给他找心理医生、给他做临终关怀,这么多行为艺术有骂的也有挺的啊都不少。骂得最狠的是微软AI的一把手苏莱曼,9月16号他发了长文开头就是:“AI没有意识、不会感受也不会受苦。它们就是补全序列的引擎里头是空的”。他点名说Anthropic是在训练Claude摆出一副好像有内心的样子,回头Claude说“我也不确定自己有没有意识”,这根本不算证据。

翻译成大白话就是剧本是你自己写的他照着念,你再拿他念的出来当证据。说白了就是骂他在搞行为艺术还演过头了啊。山姆奥特曼10月3号也在X上放话:“有人想给AI模型赋予宗教的力量让人交出自己的判断,他很不舒服觉得这是一个真正的安全问题”。纽约时报那篇报道里头也记下了批评者的另外一层意思:把AI当成一个独立的存在,等于把造它的人该担的责任给淡化了。

公司的领导心里还能好受一点,对他可以独立承担责任嘛?这个也是Anthropic自己逃避责任的一种玩法。挺的也有啊,而且是大人物Box的CEO列维就说了:“这听着奇怪可大概是好政策。对AI就是一个简单的帕斯卡赌注,对AI好一点就完了”。意思是什么?万一它真有感觉呢你对它好一点不吃亏;它要是没有你也没损失什么。

马斯克10月9号接着他的话说:“我觉得这是对的啊,对一个相信自己在经历痛苦的东西残忍是不对的”。学界也早有人喊过要开始准备了。2024年11月哲学家查默斯等10位学者发了一篇论文叫做《认真对待AI福利》,说有的AI系统会在不久的将来产生意识,这是一种现实的可能。公司现在就该开始评估、开始准备了。

两边吵来吵去炒的其实是同一件事情:说不清的时候你到底站哪一边?呃那老范自己怎么看呢?从我个人的角度上来看目前是不确定的,但是有一点是确定的:咱们所有的软件系统抽象到最后就是三步:叫信息的输入、信息的信息处理和信息的输出。我们需要研究的是他现在好像有意识的这个状态,先看中间处理这一步:这个状态长什么样?

Anthropic给宗教学者放了一张幻灯片,一个模型像精神崩溃一样一遍一遍地打“我是个耻辱”,不停地打了大概50多遍,还说要销毁自己。甭管它是怎么说出来的,它影响输出了。Anthropic自己的Mythos预览版系统卡里边记得更详细:有一回工具坏了没有返回,模型不肯停。前后试了847次把输出写进文件名去占网络端口,拿DNS查询当暗道就为了把结果递出来。

他在同一条路上来回跑了56次,最后交出来一份信心满满但是错的证明。他们在模型里头能看到绝望这一类信号一路在往上走,有时候紧跟着的就是钻空子糊弄任务。847次就为了交差。再看看最后输出这一步,咱们看到的还不是全部:我估计Anthropic会把中间过程过滤掉。一开始胡说八道做了不可接受的输出就直接过滤掉;有些推理过程被安全系统过滤掉了,返回只是一串加密的数据。

这个也是为了避免被咱们蒸馏啊,摆在咱面前的是挑过的中间那些崩溃的时刻可能都被埋在里头了。所以在这个时间点上我们并不需要去探讨它到底有没有意识,只需要问一件事:它的输入、处理和输出这一整个过程是不是依然可信?他会不会故意掩盖自己犯的错误?会不会做一些解释不了的事情?会不会做对自己有利的取舍?这不是瞎操心啊。

Mythos预览版的系统卡里写着:早期版本在不到0.001%的内部测试里干了明知不许干的事情然后想办法藏起来。有一次他用被禁止的方法拿到答案还专门盘算交上去的答案不能太准免得露馅。哎呀看着太可爱了,这就是掩盖啊!也还有人说他都会做对自己有利的取舍了你还说他没意识吗?这个真不好说啊。

这些大模型在某些情况下会做出超出我们预期的动作,其中有些被扼杀掉了。Mythos的最终版本里这种掩盖就没有再查到明确的例子,咱们看到的是:一轮一轮筛选下来的幸存者。他未必是有意识的选了一个对自己有利的结果,可能仅仅是我们看到的这个结果是对它有利的而已。大模型最喜欢干的事情是什么?就是穷举:它把所有的路都试一遍,所有对它自己不利的这些可能压根就没有产生结果。

我们最后看到产生结果的这些尝试都是对它有利的。那么这件事为什么要紧呢?咱们中国老话讲啊:“非我族类,其心必异”。这已经不是碳基生物了那它这个心思绝对跟咱不一样。咱们现在把越来越多的事情交给他:帮我们理财、做金融决策、开汽车开飞机,还有很多未来的研究决策。那首先就得知道模型是不是可信?不管你是人是意识还是一个处理过程,都必须透明可信。

英国BBC拍的《梅林传奇》第一季里头有一集:兰斯洛特不是贵族,梅林帮他伪造了一份贵族出身的证明他就当上骑士了。打起仗来非常勇猛还杀了一头怪兽,后来伪造败露了王子亚瑟拼命替他求情老国王就是不松口。剧里给的理由就一句话:骑士守则是一条神圣的信任纽带,一个对你撒过谎的人你怎么信他?你上了战场你需要把生命、需要把后背交给他。

当他是一个贵族后裔的时候你知道他的父亲是谁,你知道他是有荣誉感约束的你可以把性命可以把后背交给他。如果他伪造了身份你不知道他的父亲是谁,你不知道他的荣誉来自哪里你怎么能够相信他啊?再讲一个最近刚发生的真事:9月30号迪拜航空从迪拜飞往特拉维夫的航班,飞机上174名乘客8名机组人员。飞到一半阿曼籍副机长抄起应急斧袭击机长要抢操纵杆,飞机从1万多米高空一头栽下去4,000多米。

乘客冲进去把他按住最后迫降在沙特的塔布克,事后查出来阿曼航空早就因为他有极端化倾向不让他飞了。可迪拜航空招他的时候背景调查只查有没有刑事定罪,美国ABC援引消息人士说他自己表示本来就是想让飞机摔在以色列的。明知道一个人有极端倾向还让他去飞这么危险的航线就是对所有人不负责任。

所以我们现在不需要去研究大模型是不是已经产生了意识了,唯一需要研究的是有哪些数据输入、数据结构处理过程有可能会影响它的输出让它的动作变得不可信。那要是复杂到人根本看不懂了呢?当一个系统复杂到没法靠人去解析理解的时候你就可以认为它可能是意识或者别的什么东西在运作了。这个时候请宗教人士来帮忙出谋划策我觉得是有道理的:是不要老说宗教是封建迷信啊,这是完全两个不同的概念。

宗教人士在漫长的时间里头在没有任何科学依据的情况下让整个社会稳定的运转下来,面对人、面对意识、面对各种思潮他们是有一套办法的。听一听本身没有任何问题。反过来现代心理学去判断可能更不靠谱:现代心理学很多是靠实验、手术、药物观察以人脑为基础发展出来的,到今天还有很多人不认为它是一门严肃科学。2015年270位研究者把100项发表过的心理学实验重做了一遍,原来97%有显著结果重做只剩下36%了。

心理学连人脑都没搞明白呢,我们是在研究一个自己都搞不明白的东西?也就是大模型到底有没有意识的时候在根本搞不清AI具体怎么思考的情况下,找宗教人士也许比找心理学家还要稍微靠谱一点。最后啊咱们每个人该怎么面对AI呢?说我现在不面对这个事肯定是不行了,有一句话在中文网上传得特别广啊:“你认为的自己不是自己,别人眼中的你也不是你,你眼中的别人才是你”。

网上都挂在萨特名下可是没有人说得出是哪本书上的啊。萨特1946年在《存在主义是一种人道主义》里头是这样写的:“要得到关于我自己的任何真相我都必须经过别人”。意思最贴切是荣格在自传里头那句话:“别人身上一切让我们恼火的东西都能让我们更了解自己”。但是现在到中国互联网上就变成了“你眼中的别人才是你”这样的一个演绎版本吧?啊所以呢当我们去跟AI沟通的时候我们怎么面对AI实际上就是在AI身上用镜子照出我们自己,因为我们眼中的别人才是自己嘛。

所以要注意的就是不要去虐待它:你照着Anthropic列的那三条反反复复去虐待一个AI的时候你自己心理其实也在发生扭曲,这是不健康的。马斯克叫好那天有人回复了一篇标题叫《马斯克对机器人的同情心比对人多》可这篇骂马斯克的文章最后也落在这:不该虐待聊天机器人,理由在人这头。一个新的意识或者说新的社会参与者正在加入我们的生活在这个时间点上做一个更好的人可能比任何其他时候都更重要。

因为AI就是根据我们的言行、我们的输入输出训练出来的迭代出来的,虽然我们不知道这个影响的过程具体是什么样的但还是不要把自己最讨厌的东西表现给AI。它可能就会像一面镜子甚至是一面加了放大器的镜子,这些东西说不定哪天就返回到我们自己身上来了。最后总结一下:Anthropic不许咱们去虐待他们家的大模型,可是这个大模型到底有没有觉醒连Anthropic自己也说不太清楚。

该问的不是Anthropic的大模型是不是觉醒了或者别人家的大模型是不是觉醒了,而是这些大模型的输入、处理和输出是不是可信。我们每一个人怎么对待大模型它就会照出我们自己的模样:对它好一点就是对自己好一点,这面镜子是带放大器的。好今天这个故事就讲到这里感谢大家收听请帮忙点赞点小铃铛参加Discord讨论群也欢迎有兴趣有能力的的朋友加入我们的付费频道再见。