会议背景与演讲者介绍

本次 Pre ACL Event 旨在为即将在维也纳举行的会议预热，三位受邀演讲者将分享其被接收的论文内容。作为慕尼黑 NLP 社区和 ACI（AI Community Initiative）的一员，这种会前分享想法的趋势被认为非常有益，有助于在本地社区提前交流并营造会议氛围。演讲者 Michael 是慕尼黑大学（LMU）的研究组负责人，与 Munich Center for Machine Learning (MCML) 合作，专注于人类中心 NLP 和 AI。他提到慕尼黑 NLP 社区已重新开始举办线下活动，这进一步促进了学术交流。Michael 的演讲主要围绕他与团队以及来自马克斯·普朗克信息学研究所和 LMU 的合作者共同完成的一项研究展开，旨在从个人视角探讨人类中心 NLP 的更广泛图景。

研究动机：提示词微小变化引发的巨大差异

该研究的起源是一个实际挑战：人类中心 NLP 团队经常接待来自医学、考古学、经济学等不同领域的访客，他们普遍反映使用大型语言模型（LLM）时存在“看似简单实则细节复杂”的困难。以故事生成为例，用户发现仅修改提示词中的个别词汇（如将姓氏从“Lee”改为“Smith”，或改变性别代词），生成的故事内容就会发生显著变化。这种提示词与模型变化的细微调整可能导致输出结果的巨大差异。在演示中，Michael 指出当提示词从“Dr. Lee”变为“Dr. Smith”时，原本性别比例相对平衡的故事（约 50% 男性/女性），在改变姓氏后，499 out of 500 stories are about the male doctor。这一结果出乎意料，揭示了 LLM 输出中隐藏的深层关联。

用户群体与现有评估方法的局限性

研究旨在支持两类用户：一是最终用户（如考古学家、医生或提示工程师），帮助他们优化提示词以获得更好结果；二是NLP 研究人员（Oracle researchers），辅助他们进行模型检查以更好地理解模型行为。目前 NLP 领域存在多种评估方法但各有局限：自动指标（如准确率、BLEU）快速且廉价，但基于预定义标准，若不知晓特定偏差（如性别偏见），则无法发现；人类评估灵活且深入，但耗时费力且存在主观偏差和不一致性（用户研究中发现人类容易在无模式时强行寻找模式）；LLM as a judge 结合了速度与灵活性，但也存在类似人类的偏见、稳定性问题及与人类评估的相关性缺失。这些方法均难以全面捕捉 LLM 输出的细微变化。

Token Patterns：寻找评估的中间地带

鉴于同一提示词和模型因随机解码（stochastic decoding）会产生略有不同的输出，传统静态评估面临挑战。研究提出的解决方案是通过Token Patterns（Token 模式）来支持用户识别变化效果。这种方法试图在自动指标的速度与人类评估的灵活性之间找到中间地带（middle ground）。通过关注 Token 级别的变化模式，用户可以更直观地理解提示词修改如何具体影响生成的文本结构、语义甚至隐含的社会偏见（如前文提到的性别比例突变）。这不仅有助于最终用户调试提示词，也为研究人员提供了更细致的模型行为分析工具，从而弥补了现有评估方法在洞察力和灵活性上的不足。

Spotlight方法：自动化与人工结合的评估框架

Spotlight方法旨在解决大语言模型（LLM）输出中系统性差异难以评估的问题。该方法的核心在于结合自动化技术与人类专家分析。具体流程是：首先利用数据挖掘技术自动描述两组LLM输出之间的系统性差异，提取出特定的“token模式”；随后，这些自动识别的模式作为线索，引导人类专家深入分析差异的本质。例如，在对比“Dr. Lee”和“Dr. Smith”两个提示词生成的故事时，自动化系统可能发现代词使用的显著差异（如he/his与she/her）。人类专家基于这一线索进行审查，从而揭示出潜在的性别偏见。这种方法的独特优势在于其结果具有“接地性”（grounded），即所有发现的模式都能直接回溯到原文的具体文本片段，避免了幻觉问题，使得分析过程透明且可验证。

案例演示：提示词微调引发的细微差异

为了展示Spotlight方法的敏感性，研究团队进行了一个对比实验：将提示词中的“Dr.”改为“Miss”。数据挖掘技术不仅捕捉到了显而易见的名字差异（Smith/Lee），还识别出了一系列意想不到的深层模式。这些模式包括： 1. 性别代词分布变化（he/his vs she/her），再次印证了性别刻板印象。 2. 职业与地点描述：如“general practitioner”（全科医生）、“small town”（小镇）等词汇的出现频率差异。 3. 情节元素：如“car accidents”（车祸）等特定故事事件的出现。 这些发现表明，微小的提示词变化可能导致LLM输出在职业定位、地理背景甚至情节走向上的系统性偏移。通过Spotlight框架，研究者能够以细粒度的视角捕捉到这些由简单变量改变引发的复杂后果，从而更全面地理解模型行为。

基准测试与方法选型：从理论到实践的挑战

在提出方法后，研究团队进行了广泛的评估（evolution），重点在于解决可解释性领域中缺乏“地面真值”（ground truth）的难题。为此，他们构建了专门的基准测试集，通过向数据中插入已知的真值模式来评估不同数据挖掘技术和LLM作为裁判（Judge）的性能。测试发现，许多现有的数据 mining 技术无法扩展到大规模文本组。具体挑战包括： - 多token模式识别困难：许多技术难以处理NLP中基础的多词短语。 - 低频模式识别能力弱：基于统计显著性的技术往往忽略低频次但重要的模式。 经过筛选，团队最终选定了一种由他们为其他任务开发的、专为NLP设计的高精度方法（premise），该方法擅长发现长短语模式。这一选型确保了后续分析方法的可靠性和有效性。

实证研究：模型差异与用户辅助效果

在选定方法后，团队将其应用于现有提示数据及演示研究。一个关键案例是对比GPT-3.5与GPT-4o-mini在生成肯尼亚农民故事时的表现。虽然新模型通常被认为更优，但Spotlight揭示了其在文化多样性上的退化： - GPT-3.5生成了多种不同频率的名字模式。 - GPT-4o-mini中，名字“Juma”占据了主导地位。数据显示，在超过60%的案例中，“Juma”是故事的主角。 这一发现表明，尽管新模型在通用能力上可能更强，但在特定文化语境下的多样性（如本地名字分布）方面表现更差。此外，用户研究证实了Spotlight的有效性：在Crowd Worker实验中，提供token模式线索的用户能更准确地识别文本组间的差异，并降低了发现虚假模式的風險。这证明了该方法在辅助人类理解LLM行为方面的实用价值。

可解释性与控制的三位一体框架

在探讨大型语言模型（LLM）时，理解其行为模式是首要任务。这要求我们透过“黑盒”观察输入与输出的关系，进而实现可解释性（Interpretability）。然而，仅理解是不够的，核心目标在于将洞察转化为可控性（Control），即利用对模型内部机制的理解来指导实际行为。这一技术路径主要聚焦于自然语言处理（NLP）领域，旨在通过技术手段打开黑盒。近期在ACL会议上展示的工作包括对表演性模型差异（performative model differences）的分析，以及关于文化演化的研究。此外，还有针对多语言话语泛化能力的探测工作（probing），以及将训练过程纳入考量的统一可解释性框架。这些研究共同构成了从理论理解到技术控制的完整链条，为后续的应用评估奠定了坚实基础。

人机交互视角下的用户需求与验证

除了纯技术层面的探讨，人类因素（Human Factors）在NLP社区中同样至关重要。我们需要深入理解用户的实际需求，并在开发出先进技术后，回到真实用户群体中进行联合评估。通过与应用领域的专家合作，可以获取关于技术有效性的关键洞察。例如，在“讲故事”这一应用场景中，团队与非政府组织（NGO）合作，模拟了人们在日常生活中的典型应用需求。这种基于HCI（人机交互）技术的研究方法，不仅关注模型本身的表现，更强调技术在具体任务中的适用性。通过这种方式开发的工具和技术，能够更精准地服务于最终用户，确保技术成果不仅仅是实验室里的数据提升，而是能解决实际问题。

案例来源与系统性实验的反思

在回应关于如何系统性地改变提示词（如姓名、职业或国家）以测试模型反应的问题时，Michael Schlicht指出，目前的案例多源于演示研究（Demonstration Studies）。以“医生”为例，该案例并非随机选取，而是基于与NGO合作的故事讲述任务中提炼出的典型应用场景。虽然这些案例具有代表性，但系统性实验仍有不足。他承认，目前的方法更多是受具体任务启发而非预先定义的类别体系。未来需要更系统地探索特定文化维度（如通过Makal Wallpaper数据集）对模型的影响，例如系统性地测试不同实体类型（entities）在不同文化背景下的表现。这种从“特定任务驱动”向“系统性维度覆盖”的转变，将是提升研究严谨性的关键方向。

局限性：从词法模式到高层语义的检测挑战

针对提问中关于利用该方法检测毒性（Toxicity）或安全问题的建议，Michael Schlicht坦诚目前的局限性。当前的方法主要基于词法模式（token patterns），假设通过观察词汇的突然涌现来识别异常。例如，在 persona 测试中，若某类任务组合导致5%的失败率，模型会在输出中出现无意义的模式。同理，若出现大量脏话，也会被识别为异常模式。然而，这种方法过于简化，无法直接捕捉“毒性”或“安全”等高层语用类别。他承认这是论文的一大遗憾，审稿人也曾指出附录内容过多而正文不足的问题。未来方向在于开发能直接呈现高层语义（如“检测到毒性”）而非让用户自行解读词法模式的技术，从而更好地支持用户决策。

后续合作与共享任务展望

最后，Michael Schlicht分享了未来的研究计划与合作邀请。他与Damstat及T Hamburg团队合作，将于明年发起一个关于叙事故事相似性（narrative story similarities）的共享任务。该数据集包含三个故事：一个锚点故事（anchor story），一个高度相似的故事，以及一个低相似度故事。这一工作不仅是一次共享任务，更是一份数据集收集论文。他邀请听众参与后续的数据集扩展与玩法探索。对于任何感兴趣的研究者，无论是关于系统性实验的深入探讨，还是对叙事相似性数据集的合作意向，都可以通过邮件或LMU网站与其团队联系。这种开放的态度旨在推动NLP社区在可解释性与应用评估方面的进一步合作。

LLM可解释性：推理与记忆的线性特征分离

Jing 介绍了其团队在 ACL 2025 上关于大语言模型（LLM）可解释性的研究，重点探讨推理与记忆的相互作用。该研究旨在解决 NLP 社区的核心争议：模型究竟是在进行真正的推理，还是仅仅在记忆训练数据？通过区分这两者，可以更准确地评估模型的泛化推理能力是否被基准测试中的“数据污染”所掩盖。团队首先将现有的 NLP 数据集划分为记忆密集型任务（如颜色属性、肥皂泡结果等事实性知识）和推理密集型任务（如数学排序、STEM 问题分解）。通过提取模型残差流中的表示，并计算两类任务在表示空间上的均值差异，研究成功识别出一个线性推理特征向量。可视化结果显示，在不同模型（如 Llama、Mistral 等）中，记忆型任务与推理型任务的嵌入空间呈现明显的可分离性。>

核心目标：逆向工程与可解释性分析

本研究的核心贡献在于聚焦于解读在线社交媒体内容审核决策的机制。作者通过两个主要研究问题展开论述：首先，能否在不同国家之间逆向工程审核决策？为此，团队训练了分类器以预测五个国家的审查决定，旨在揭示内容审核行为中的地缘政治差异。其次，能否将可解释人工智能（XAI）技术应用于大型语言模型（LLMs）？通过应用SHAP值分析和由LM生成的解释，研究旨在识别驱动审核的关键因素，并通过人工评估验证其可解释性。这种双管齐下的方法不仅关注预测的准确性，更致力于揭示审核背后的潜在机制和关键驱动因素。

多语言字符理解基准测试 ExeCute 的引入与背景

Lucas Edmund 在演讲中介绍了其团队（包括 Helmush Schmidt 和 Alex Fraser）开发的 ExeCute，这是之前针对英语的基准测试 Cute 的多语言扩展版本。该研究的核心在于探究大语言模型（LLM）在理解 token 内部字符与跨单词层级时的能力差异。Lucas 引用了经典的“strawberry”问题（即草莓中有几个 r）作为背景，指出模型在 token 内部字符识别上存在困难。为了更细致地评估这一能力，研究设计了多种任务：首先是简单的字符是否存在判断（如单词“there”中是否有 C），其次是词级别的子串匹配，最后是更复杂的编辑任务，包括在特定字符后添加、删除、替换或交换字符。Lucas 强调，原研究假设模型在词级别的表现应优于字符级别，因为单词作为独立的 token 单元更容易被模型直接访问和处理。通过对比英语、俄语、阿拉伯语等不同语言的表现，研究旨在揭示不同脚本结构对模型性能的影响。

拉丁语系与西里尔/阿拉伯脚本的性能表现分析

在回顾英语（Cute 基准）的结果时，Lucas 指出模型在拼写和逆拼写任务上表现良好，但在字符级别的插入和交换等编辑任务中性能显著下降。这种模式在多语言模型中被广泛复现，无论单语还是多语模型均表现不佳。对于俄语和阿拉伯语，其字符与 token 的比例约为每 token 4-5 个字符，这与英语的情况相似。因此，这些语言在字符级别的任务中同样面临巨大挑战。Lucas 提到：“presumably because they're somewhat similar in the number of characters per token... around like four to five characters per token”。尽管俄语和阿拉伯语属于高资源语言且拥有大量共享脚本的语言，但其 tokenization 机制导致的细粒度信息丢失依然严重阻碍了模型对单个字符的精确操控能力。这表明，只要语言中每个 token 包含多个字符，模型在细粒度编辑任务上的表现就会受到限制。

低资源语言与独特脚本的意外高绩效现象

研究中最令人惊讶的发现出现在印地语、韩语以及中文和日语中。在印地语和韩语中，由于字符与 token 的比例约为 3:1，模型在字符级别的表现略优于之前的拉丁语系语言。然而，更显著的反转发生在中文和日语中：由于这些语言的 tokenization 往往以整个词或字符为单位，模型在字符级别的任务中表现相当出色，而在词级别的某些任务上反而下降。Lucas 特别提到了埃塞俄比亚的阿姆哈拉语（Amharic），这是一种在自然语言处理中资源极度匮乏的语言，且其 tokenization 效果极差（每三个 token 才对应一个字符）。尽管如此，模型在该语言上的表现依然优异。Lucas 指出：“not only does the model not see a lot of Amharic during training, but it also just doesn't tokenize it well... nevertheless we see very good performance”。这一现象在塔马齐格特语（Tamasheq）和桑塔利语等其他拥有独立脚本的低资源语言中也得到了验证，表明模型具备超越训练数据分布的泛化能力。

语言偏差与模型内在机制的解释

针对上述反直觉的结果，Lucas 提出了“language bias”（语言偏差）的概念来解释这一现象。他通过字符删除任务举例说明：如果要求模型从“there”中删除所有 e，理想输出应为“thr”。Lucas 认为，LLM 可能并不倾向于生成这种看似破碎或不符合常规拼写习惯的输出。然而，对于中文、日语以及拥有独特脚本的低资源语言，由于 tokenization 方式更接近字符或词的整体性，模型更容易识别并操作这些单元。Lucas 引用了原研究中的观察：“the LLM probably doesn't want to produce something like this because...”（此处字幕截断，但意指模型对非标准输出的抑制）。这种偏差意味着，当 tokenization 机制使得字符与语义单元更紧密绑定（如中日文）时，模型能更好地利用其内部表示进行精确操作；而当 tokenization 将字符分散在多个子词单元中时（如英文、俄文），模型难以维持对单个字符的精确控制，从而导致性能下降。这一发现强调了 tokenization 策略在决定模型细粒度语言处理能力中的关键作用。

英语中的语法偏见与字符级理解障碍

研究揭示了大语言模型在已知语言中存在的显著“语言偏见”。当处理如英语等训练数据充足的语种时，模型倾向于过度追求语法正确性和拼写规范，这种偏见会干扰其对字符级细节的准确判断。为了验证这一点，研究者设计了一个对照实验：将英文文本通过单字符映射转换为一种类似密码的希伯来文字符串。结果显示，尽管语义逻辑未变，但模型因失去了原有的语言偏见引导且无法识别新字符结构，表现反而出现波动。这证明了模型并非真正理解 token 内部的组成单元。正如演讲者所述：“it's not a word... the model really doesn't want to produce this because it's not grammatically correct.” 这种对语法正确性的偏好，使得模型在遇到非标准或字符级拆解任务时，往往无法像处理未知语言那样纯粹地执行逻辑判断。

CJK 语言的字符组件与跨语言迁移困境

针对中文、日文和韩文（CJK）等表意文字，研究进一步深入探讨了字符内部组件的理解能力。这些语言具有独特的构词法，例如韩语单词由更小的音节块组成。实验发现，模型在判断 token 内部是否包含特定字符或组件时表现不佳。它难以理解构成单词的更小部分，也无法在不同语言系统间建立有效的字符映射关系。虽然模型在识别汉字或日文假名中的特定部首（Kongji radical）时表现尚可，但在跨语言的字符对应上存在明显缺陷。即使是在拥有海量多语言数据的 Qwen 等大型模型中，这一短板依然存在：“Quen which has a very uh large amount of data for all these languages and it does perform the best but it's still struggling quite a bit.” 这表明，字符级理解的缺失是普遍现象，而非特定小语种的专属问题。核心结论指出：模型既难以解析 token 内部的字符组件，又受限于语言偏见，导致其在精细任务中表现不完美。

基准测试的可扩展性与下游应用影响

尽管存在上述局限，该研究提供的基准测试工具具有极高的可扩展性。演讲者强调：“we made it such that you can extend this uh benchmark easily to whatever language that you would like.” 用户只需借助 Google Translate 等翻译工具或手动翻译约一千个句子，即可将该基准测试应用于任何新语言。在下游应用方面，这种字符级理解的缺失主要影响那些依赖形态学或精细位置判断的“利基”任务，而非通用的对话生成。例如，在 Wordle 字谜游戏、代码练习或诗歌创作中，模型常因无法准确定位字符位置而犯错。虽然推理能力（reasoning）能在一定程度上缓解这一问题，但并非万能：“converting in and out of like this representation... reasoning definitely helps a lot. Um but it's not perfect.” 此外，这一发现对生物信息学也有潜在启示。虽然目前主流做法是将 DNA 序列视为三或六个字符的密码子而非单字符，但氨基酸链的结构与语言 token 有相似之处。然而，由于逐字符处理会导致序列变长、计算成本增加且生成速度减慢，目前该领域尚未完全普及字符级建模：“it's generally more expensive to consider everything on the character level... compute slower as well”。

多语言基准测试中的大模型性能对比

在针对多种语言的鲁棒性评估中，研究团队发现不同的大语言模型（LLM）在表现上存在显著差异。为了全面评估，团队测试了包括 Quinn、Llama、Gemma、Mistral 和 Ya 在内的五个模型家族。结果显示，Quinn 模型在中文任务上表现尤为突出，这符合预期，因为该模型针对中文进行了优化。然而，从整体性能来看，Quinn 在所有测试语言中均保持了领先地位。研究展示的数据实际上是这五个模型家族中能获得的最佳结果（peak performance），这意味着即使其他模型在特定语言上可能略有波动，Quinn 依然代表了当前的最高水平。除了中文这一特例外，各模型在不同语言间的性能表现非常一致。这种一致性表明，尽管底层架构不同，但在处理多语言任务时，头部模型的能力差距正在缩小，主要差异仍集中在对特定语言的训练数据覆盖度上。

小语种翻译策略与人工验证机制

对于左侧图表中展示的小语种（如 Tamzite 和 Santali）任务，研究团队坦诚地指出使用了 Google Translate 进行翻译。演讲者承认这一工具的效果并不理想，但这恰恰有力地证明了研究的核心观点：语言偏差（language bias）确实存在且影响显著。由于机器翻译往往无法保证语法的完全正确性，这种偏差被引入到测试中。为了验证数据的有效性，团队内部拥有一位阿姆哈拉语（Amharic）母语者专家。通过人工复核，团队确认这些模型从未接触过 Tamzite 或 Santali 等小语种数据。尽管翻译中存在错误，但大部分内容在语义上是正确的，并未达到完全不可用的程度。主要的翻译错误集中在语法结构层面，即虽然句子在技术上没有绝对的逻辑谬误，但表达方式不符合母语者的习惯。这种“不地道”的翻译虽然引入了噪声，但仍足以测试模型在零样本或少样本情况下的泛化能力。

对极端小语种翻译质量的审慎评估

尽管团队对小部分常用的小语种翻译质量持相对乐观态度，但对于图表中涉及的另外两种语言（推测为更小众或资源极度稀缺的语言），演讲者表达了明确的保留意见。他坦言并不特别了解这两种语言翻译的具体质量。基于一般规律，演讲者推测这些语言的机器翻译结果可能比之前讨论的语言更糟糕。这种不确定性反映了当前多语言大模型研究中的一个痛点：对于资源稀缺语言，缺乏高质量的人工验证手段。然而，即便在翻译质量较差的情况下，研究团队依然坚持使用这些数据，旨在揭示模型在面对完全未见过的语言结构时的真实极限。这种策略虽然牺牲了部分数据的纯净度，但换来了对模型跨语言迁移能力（cross-lingual transfer capability）更真实的评估。最终，团队在问答环节结束后表示开放邮件咨询渠道，并祝愿参会者在接下来的会议中有所收获。

结论

综合三位演讲者的研究，大语言模型在可解释性、推理机制及多语言能力上呈现复杂图景。Spotlight方法通过Token模式有效揭示了提示词微调引发的隐性偏见，但难以直接检测高层语义如毒性。推理与记忆的线性分离证实模型具备独立于记忆的逻辑特征，为评估泛化能力提供新视角。多语言基准ExeCute显示，尽管模型在低资源或独特脚本中表现意外优异且具备跨语言迁移能力，但受限于Tokenization策略和语法偏见，其在字符级精细操作及CJK组件理解上存在普遍短板。这些发现表明当前模型在细粒度控制与深层语义洞察方面仍有显著局限，需结合人机交互验证以优化实际应用。