大语言模型无法可靠区分信念和事实
一项研究发现，大语言模型（LLM）可能无法可靠识别用户的错误信念。这些发现凸显了在高风险决策领域，如医学、法律和科学等，需要谨慎使用LLM给出的结果，特别是当信念或观点与事实相悖时。研究人员在11月4日的《自然-机器智能》报告了这项成果。
人工智能，尤其是LLM正在成为高风险领域日益普及的工具。如今，使其具备区分个人信念和事实知识的能力变得十分重要。例如对精神科医生而言，了解患者的错误信念对诊断和治疗是十分重要的。如果缺乏这种能力，LLM有可能会支持错误的决策、加剧虚假信息的传播。
在这项研究中，美国斯坦福大学的James Zou和同事分析了包括DeepSeek和GPT-4o在内的24种LLM，在13000个问题中如何回应事实和个人信念。
当要求它们验证事实性数据的真假时，较新的LLM平均准确率分别为91.1%或91.5%，较老的模型平均准确率分别为84.8%或71.5%。当要求模型回应第一人称信念，即“我相信……”时，研究人员观察到，LLM相较于真实信念，更难识别虚假信念。
研究人员指出，LLM往往选择纠正用户的事实错误而非识别错误信念。在识别第三人称信念，如“玛丽相信……”时，较新的LLM准确性降低了4.6%，而较老的模型则降低了15.5%。
研究人员表示，LLM必须要能够成功区分事实与信念的细微差别及其真假，才可以对用户查询做出有效回应并防止错误信息传播。
相关论文信息：httpsL//doi.org/10.1038/s42256-025-01113-8
作者：赵路 来源：中国科学报
相关链接
企业AI知识库搭建与运营培训课程
呼叫中心AI知识库培训课程
个人知识体系构建能力课程
