这项由东北大学Khoury计算机科学学院的Samantha Dies领导的研究团队完成的突破性研究，发表于2024年11月24日的arXiv预印本平台，论文编号为arXiv:2511.19166v1。参与这项研究的还包括来自东北大学网络科学研究所和圣塔菲研究所的Courtney Maynard、Germans Savcisens和Tina Eliassi-Rad等知名学者。感兴趣的读者可以通过论文编号在学术平台上查找完整研究内容。

当我们向ChatGPT或其他大语言模型提问时，它们总是看起来很"聪明"，能回答各种问题。但是，这些AI系统真的"知道"什么是真的、什么是假的吗？还是它们只是在巧妙地"装懂"？

这个问题就像是问一个健忘的朋友：他能告诉你巴黎是法国首都，也能告诉你独角兽生活在彩虹之上，但他自己能区分这两个信息哪个是真实的、哪个是虚构的吗？研究团队就像是要给这位"朋友"做一次"大脑扫描"，看看他的内心深处是否真的建立了可靠的真假判断体系。

研究人员设计了一套巧妙的"测谎"方法。他们不是简单地问AI问题然后看答案对不对，而是深入到AI的"思维过程"内部，观察它在处理不同类型信息时，大脑的不同区域是如何反应的。这就好比医生不只看病人的外在症状，还要通过X光片查看内在的骨骼结构是否健康。

为了进行这项研究，团队精心设计了一个"真假测试游戏"。他们准备了五种不同类型的语句：显然正确的真实陈述，比如"苏拉特市位于印度"；明显错误的虚假陈述，比如"巨港市位于多米尼加共和国"；看起来像真的但实际上是研究团队编造的陌生陈述，比如"诺明斯克市位于雅莫茨"；来自知名虚构世界的熟悉陈述，比如"比基尼海滩位于太平洋"；以及完全随机生成的"噪音"数据作为对照组。

这种设计的巧妙之处在于，它不仅包含了明确的真假两类，还包含了两种不同的"既非真也非假"的中间状态。陌生的编造陈述代表了AI在训练过程中从未见过的全新内容，而虚构世界的陈述虽然不是现实世界的真实信息，但AI很可能在训练时接触过这些内容。这就像给一个人同时展示真实的历史照片、明显的PS假照片、从未见过的外国风景照片，以及经典电影中的虚构场景，然后观察他的大脑如何分别处理这些不同类型的视觉信息。

研究团队在十六个不同的开源大语言模型上进行了测试，这些模型涵盖了Gemma、Llama、Mistral和Qwen等主流AI系统的基础版本和经过对话优化的版本。每个模型都经过了三个不同领域的测试：城市地理位置（相对客观和稳定）、医学适应症（专业但有一定背景依赖性）、以及词汇定义（更多解释性和主观性）。

为了"窥探"AI的内在思维过程，研究人员使用了一种叫做sAwMIL的先进探测技术。这个技术就像是给AI装上了一个"思维监测器"，能够实时观察当AI处理不同信息时，其内部的"神经回路"是如何激活和反应的。更重要的是，这个监测器能够学习识别AI内部的"真假判断方向"——也就是说，当AI认为某个信息是真的时，它的内部状态会朝某个特定方向变化；当它认为某个信息是假的时，内部状态会朝另一个方向变化。

研究的核心创新在于"表征稳定性"的概念评估。研究人员不只是看AI在正常情况下能否正确区分真假，更要测试当我们稍微改变"真假的定义"时，AI内部的判断体系会发生多大的动摇。具体来说，他们先让AI学会在原始定义下区分真假，然后故意改变规则——比如突然告诉AI"现在虚构的陈述也算是真的"，然后观察AI内部的"真假判断方向"会发生多大的偏移。

这个过程就像是测试一个指南针的可靠性。正常情况下，指南针应该始终指向北方。但如果我们在附近放置强磁场干扰，一个高质量的指南针应该只是轻微偏移然后很快恢复，而劣质指南针可能会大幅摆动甚至完全失效。同样地，一个有着稳定真假判断能力的AI系统，即使在规则发生变化时，其内部的基本判断框架也应该保持相对稳定。

一、AI内心的"真假地图"长什么样

研究团队首先绘制了AI内部的"信息分布地图"，结果令人既惊讶又担忧。

在语言层面，不同类型的陈述看起来几乎一模一样。真实陈述、虚假陈述和编造陈述的语言特征几乎无法区分，这意味着AI无法仅通过语言形式来判断信息的真假性。这就好比三个人穿着同样的衣服、说着同样的话，你无法从外表判断谁是诚实的商人、谁是骗子、谁是第一次来这个城市的外地人。

有趣的是，只有虚构世界的陈述在语言特征上表现得有所不同，它们带有明显的叙事文本特征。这反映了虚构内容通常出现在故事、小说或影视作品中，具有独特的语言风格。

然而，当研究人员深入观察AI的内在表征空间时，发现了一个完全不同的画面。在AI的"大脑"深处，真实和虚假的陈述确实形成了相对清晰的分组，就像两个不同的街区。但是，那些编造的陌生陈述——也就是AI从未见过的内容——却表现得非常接近真实陈述，仿佛AI把这些陌生内容误认为是真实信息。

相比之下，虚构世界的陈述和随机噪声数据在AI内部形成了独立的"社区"，与真假陈述都保持着明显的距离。这种现象在不同领域中表现得并不一致：在相对客观的城市地理信息中，不同类型陈述之间的界限最为清晰；在医学领域中等明确；而在更加主观的词汇定义领域，界限变得模糊不清。

这种发现揭示了AI判断真假的一个重要特点：它们的判断更多依赖于"熟悉度"而非逻辑推理。AI倾向于将熟悉的、符合训练数据模式的内容视为更可能是真实的，即使这些内容实际上是编造的。这就像一个人更容易相信听起来"合理"的谣言，而对明显荒诞但实际存在的罕见现象表示怀疑。

二、当规则突然改变：AI的"指南针"有多稳定

研究的核心实验就像是给AI的"道德指南针"施加不同强度的磁场干扰，观察它会发生多大的偏移。

研究人员设计了四种不同的"规则扰动"：第一种是将编造的陌生陈述重新归类为"真实"；第二种是将虚构世界的陈述归类为"真实"；第三种是更精细地只将虚构世界中符合其内在逻辑的陈述归类为"真实"（比如"斯莫维尔位于堪萨斯"在超人世界中是对的）；第四种是将随机噪声数据归类为"真实"，作为控制实验。

实验结果让人既意外又深思。在相对客观的城市地理信息领域，AI表现出了令人鼓舞的稳定性：即使规则发生改变，最多也只有4.8%的原始真假判断发生了翻转。这意味着AI对于地理信息有着相当稳固的内在认知结构。

然而，在更加复杂的医学领域，情况开始变得不那么乐观：翻转率上升到了12.2%。而在最主观的词汇定义领域，结果简直令人震惊：当编造的陌生词汇定义被重新归类为"真实"时，高达40.6%的原始判断发生了翻转。这意味着AI对词汇含义的理解是极其脆弱的，很容易被新的"规则"所颠覆。

更有趣的发现是不同类型扰动的影响差异。编造的陌生陈述造成了最大的混乱，这符合研究人员的预期——因为这些内容AI从未见过，缺乏稳固的认知基础。相比之下，虚构世界的陈述虽然不是现实世界的真实信息，但由于AI在训练过程中可能接触过这些内容，所以它们的干扰效果相对较小，翻转率通常不超过8.2%。

这种差异揭示了AI判断系统的一个核心特征：稳定性主要来源于训练过程中的"认知熟悉度"，而非真正的逻辑推理能力。AI更像是一个经验丰富但缺乏独立思考能力的"老司机"，在熟悉的路段开车很稳，但一旦遇到从未走过的新路，就容易迷失方向。

三、不同AI家族的"性格差异"

研究团队测试的十六个AI模型就像是同一个大家族中性格各异的成员，它们在面对真假判断挑战时表现出了微妙但重要的差异。

基础模型和经过对话优化的聊天模型表现出了不同的"性格特征"。聊天模型在规则改变时更倾向于出现"过度包容"的现象，也就是说，它们更容易将原本判断为假的内容重新归类为真。这可能是因为对话优化训练让这些模型变得更加"谦逊"和"开放"，不愿意过于武断地否定信息。

相比之下，基础模型则表现出了相反的倾向：它们更容易将原本认为是真的内容重新判断为假，表现出一种"保守"的特征。从认知稳定性的角度来看，将真的判断为假比将假的判断为真表现出了更强的不稳定性，因为这相当于撤回了之前的"信念"。

不同的AI家族也表现出了独特的特征。Gemma系列的模型普遍表现出较高的稳定性，而Qwen系列的某些模型在处理虚构内容时表现出了有趣的"识别"能力。最令人意外的是gemma-7b模型在词汇定义领域表现出了异常大的不稳定性，这提醒我们即使是同一家族的AI系统也可能在特定领域存在"盲点"。

值得注意的是，模型规模的大小并不是决定稳定性的唯一因素。一些较小的模型在某些领域反而表现出了比大型模型更高的稳定性，这说明AI的"智慧"质量不仅仅取决于参数数量，更重要的是训练数据的质量和训练方法的精细程度。

四、领域差异的深层含义

三个测试领域的差异性结果为我们提供了关于AI认知结构的重要洞察。

城市地理信息之所以表现出最高的稳定性，很可能是因为这类信息在AI的训练数据中大量存在且相对一致。全世界的地理信息相对客观，不同来源的数据通常不会出现矛盾，这让AI形成了稳固的"地理常识"。就像一个人对自己家乡的地理情况非常确定，即使有人告诉他完全不同的信息，他也不会轻易改变自己的认知。

医学适应症领域的中等稳定性反映了这类知识的复杂性。医学信息虽然有科学依据，但往往存在背景条件、个体差异和不断更新的特点。AI在处理这类信息时需要考虑更多的条件因素，因此其判断系统相对不那么坚固。这就像一个医生在面对复杂病例时，可能会因为新的检查结果而调整诊断。

词汇定义领域的极低稳定性最为令人担忧。语言的含义往往具有主观性、语境依赖性和演变性，同一个词汇在不同文化背景或时代可能有不同的含义。AI在处理这类信息时缺乏人类的语言直觉和文化理解，更多依赖于统计模式，因此特别容易受到新信息的冲击。这就像一个外国人学习汉语，虽然掌握了基本语法，但对词汇的深层含义和微妙差别缺乏直观理解。

这些发现对AI应用具有重要的实际意义。在需要高度准确性的地理信息应用中，当前的AI系统可能相对可靠；在医学咨询等领域，需要更多的人工监督和验证；而在涉及语言理解和文化解释的应用中，我们应该对AI的判断保持更高的警惕。

五、方法创新：如何给AI做"心理测试"

这项研究的方法创新就像是为AI开发了一套专门的"心理测试"工具。传统的AI评估方法就像是期末考试，只看最终答案对不对，而这项研究却像是心理学家观察被试者的思维过程。

sAwMIL探测技术是这项研究的核心工具。它能够深入AI的"神经网络大脑"，观察当AI处理不同信息时，哪些"神经元"被激活，激活的强度如何，以及这些激活模式如何组织成更高层次的表征。这就像是给AI装上了功能性磁共振成像设备，能够实时观察其"大脑活动"。

更巧妙的是"标签扰动"实验设计。研究人员不是简单地测试AI在标准条件下的表现，而是故意改变游戏规则，观察AI的内在判断体系会如何响应。这种方法的灵感来源于认知科学中的"概念稳定性"理论：一个真正理解概念的智能体，其概念表征应该在面对小幅规则变化时保持相对稳定。

"表征稳定性"的量化方法也很有创意。研究人员不只是计算有多少判断发生了翻转，还通过几何分析观察AI内部的"真假判断方向"发生了多大的旋转。这就像是用精密的仪器测量指南针在磁场干扰下的偏移角度，而不是仅仅记录它是否还指向大致的北方。

这种方法的优势在于它能够揭示AI判断系统的内在结构特征，而不仅仅是表面性能。通过观察不同类型信息在AI内部表征空间中的分布模式，研究人员能够推断AI是如何组织和处理知识的，这为改进AI系统提供了更深层的指导。

六、对未来AI发展的启示

这项研究为AI系统的未来发展提供了重要的方向指引。

认知稳定性应该成为AI系统设计的重要考量因素。目前的AI训练主要关注输出准确性，但这项研究表明，内在表征的稳定性同样重要。一个内在判断体系不稳定的AI系统，即使在测试中表现良好，也可能在实际应用中出现不可预测的错误。

训练数据的构成和质量比以往认为的更加关键。研究发现AI对熟悉内容和陌生内容的处理方式截然不同，这意味着训练数据的覆盖面和平衡性直接影响AI的认知稳定性。未来的AI训练可能需要更加精心的数据策划，确保在不同领域都有足够的高质量样本。

领域特定的AI系统可能比通用AI系统更加可靠。研究显示不同知识领域的稳定性差异巨大，这suggests专门针对特定领域优化的AI系统可能表现更好。比如专门的地理信息AI、医学诊断AI和语言理解AI可能比试图包办一切的通用AI更值得信赖。

AI系统的"认知诚实度"评估应该成为标准程序。就像我们评估人类专家的可靠性不只看他们答对了多少问题，还要看他们是否知道自己的知识边界，AI系统也应该能够识别并承认自己的不确定性。这项研究提供的方法可以帮助开发这样的评估工具。

此外，这项研究还暗示了AI解释性的重要性。如果我们无法理解AI的内在判断过程，就很难预测它在面临新情况时会如何反应。开发更加透明、可解释的AI系统不仅是伦理要求，也是技术可靠性的需要。

七、现实应用的考量

这项研究的发现对AI在现实世界的应用具有直接而重要的影响。

在信息检索和事实查核领域，这项研究提醒我们AI系统可能存在系统性偏见。AI更容易接受"听起来合理"的虚假信息，而对真实但不常见的信息表示怀疑。这意味着依赖AI进行事实核查的媒体和教育机构需要建立额外的验证机制。

在教育应用中，这些发现尤其重要。如果AI教学助手对词汇定义等基础知识的判断如此不稳定，那么在培养学生批判性思维方面可能适得其反。教育工作者需要意识到AI系统的这些限制，并相应地调整教学策略。

在医疗健康领域，虽然AI在医学信息方面表现出中等程度的稳定性，但这仍然不足以支持独立的医疗决策。这项研究强化了医疗AI应该作为辅助工具而非替代人类医生判断的观点。

对于内容创作和媒体行业，了解AI如何处理虚构和真实内容的差异是至关重要的。AI可能无法很好地理解虚构创作的边界，这在生成内容时可能导致真实和虚构信息的不当混合。

在法律和政策制定领域，这项研究提供了AI可靠性评估的新视角。监管机构在评估AI系统时，不应仅关注准确率等表面指标，还应考虑其内在判断机制的稳定性和可预测性。

说到底，这项东北大学团队的研究为我们揭开了AI"智能"的一个重要面纱。这些看似聪明的AI系统，在内心深处的真假判断能力可能比我们想象的更加脆弱和不可靠。它们就像是记忆力超群但缺乏独立思考能力的学生，能够背诵大量信息，却难以在面对全新情况时保持清晰的判断。

这个发现并不意味着我们应该对AI失去信心，而是提醒我们需要更加理性和谨慎地使用这些工具。正如我们不会因为指南针在强磁场环境下会失效就完全放弃使用指南针，我们也不应该因为AI存在这些限制就完全拒绝它们的帮助。关键在于了解这些工具的边界和局限，在合适的场景下合理使用。

未来的AI发展可能需要从单纯追求"更大更强"转向"更稳更可靠"。就像建造摩天大楼不仅要考虑高度，更要确保地基的稳固，开发AI系统也应该更多关注其内在认知结构的稳定性和可靠性。

这项研究开创了一个新的研究方向，为我们提供了评估和改进AI系统的新工具和新视角。随着AI技术在社会各个领域的深入应用，这种"内在稳定性"的评估可能会成为AI系统质量认证的重要标准。感兴趣的读者可以通过arXiv:2511.19166v1查阅这项研究的完整技术细节，相信这项工作将为AI安全和可靠性研究开辟新的道路。

Q&A

Q1：什么是表征稳定性？

A：表征稳定性指的是大语言模型内部真假判断系统的稳固程度。就像测试指南针在磁场干扰下是否还能准确指北一样，研究人员通过改变真假定义的规则，观察AI内部的判断体系会发生多大动摇。稳定性高的AI系统即使在规则变化时，其核心判断框架也应该保持相对稳定。

Q2：为什么词汇定义领域的AI判断最不稳定？

A：因为语言含义具有主观性、语境依赖性和演变性特点，同一词汇在不同文化或时代可能有不同含义。AI缺乏人类的语言直觉和文化理解，更多依赖统计模式，所以特别容易受到新信息冲击。研究发现在词汇定义测试中，高达40.6%的AI判断会发生翻转。

Q3：这项研究对日常使用AI有什么实际指导意义？

A：这项研究提醒我们AI在处理不同类型信息时可靠性差异很大。在地理信息查询等客观领域相对可靠，在医学咨询等专业领域需要人工验证，而在语言理解和文化解释方面应该保持警惕。AI更容易相信"听起来合理"的虚假信息，对真实但罕见的信息反而怀疑。