世界知识(World Knowledge)的定义、研究历程和相关语言学示例
世界知识(World Knowledge)在人工智能(AI)和自然语言处理(NLP)领域,通常指模型或系统对现实世界的广泛了解,包括事实性信息、常识推理、物理定律、社会规范、时空关系以及文化背景等。这种知识不是孤立的符号或数据,而是嵌入在模型中,用于支持推理、预测和生成任务。它可以被视为一种隐含的“世界模型”(World Model)的组成部分,帮助AI系统模拟外部环境并做出合理的响应。
根据对象和空间范围,世界知识可分为三类:
- 全球物理世界知识:涉及宏观物理现象,如重力、天气模式或天体运动。
- 局部物理世界知识:聚焦于日常物体互动,如物体碰撞或工具使用。
- 人类社会知识:包括社会规范、文化习俗和人类行为模式。
这种知识强调AI系统的“理解”能力,但辩论焦点在于它是否真正代表因果模型,还是仅基于表面统计相关性。
对世界知识的关键研究
世界知识的研究主要集中在AI模型如何获取、表示和应用这种知识,尤其在大型语言模型(LLMs)时代。以下是关键研究的总结,使用表格呈现以便比较:
研究标题 | 作者/来源 | 发表年份 | 主要贡献 |
---|---|---|---|
From task structures to world models: what do LLMs know? | ScienceDirect | 2024 | 探讨LLMs是否通过任务分布和表示复杂度获得“工具性知识”(instrumental knowledge),并将其与人类世界知识比较,强调任务多样性对知识恢复的影响。 |
Understanding World or Predicting Future? A Comprehensive Survey of World Models | arXiv (也见ACM版本) | 2024 | 全面综述世界模型的概念,包括LLMs中的认知地图结构,以及如何通过预训练捕获直观知识用于预测现实场景。 |
Large Knowledge Model: Perspectives and Challenges | arXiv | 2023 (更新2024) | 提出大型知识模型(Large Knowledge Model)的框架,讨论将传统知识图谱(KGs)与LLMs融合,以构建更全面的常识模型,并识别挑战如知识分离和认知对齐。 |
Large Language Model: world models or surface statistics? | The Gradient | 2023 | 通过Othello游戏实验,分析LLMs是否真正学习世界模型,还是仅记忆表面统计;结果显示模型能隐含构建板状态表示。 |
The debate over understanding in AI’s large language models | PMC | 2023 | 辩论LLMs是否具备人类般的理解,强调概念层次和因果知识的作用,并建议LLMs代表新型“理解”模式。 |
How Do Large Language Models Capture the Ever-changing World Knowledge? A Review of Recent Advances | arXiv | 2023 | 回顾LLMs如何捕获动态世界知识的进展,包括无需从头训练的更新方法,并讨论挑战如知识过时。 |
这些研究突显了从符号AI向数据驱动模型的转变,焦点从显式知识表示转向隐式学习。
世界知识相关的例子
- Othello游戏中的世界模型:在训练LLMs仅预测下一步棋子位置(无明确规则输入)时,模型隐含学习了棋盘状态和规则,形成一个内部“世界模型”。例如,模型能预测棋子翻转,而非简单记忆序列,这展示了世界知识如何从序列数据中浮现。
- 认知地图在LLMs中:LLMs如GPT系列能模拟人类认知地图,用于空间导航或事件预测。例如,在描述城市布局时,模型可推断未见路径,基于嵌入的高维向量表示世界知识。
- 常识推理任务:LLMs在Winograd Schema Challenge中利用世界知识解决歧义,如“奖杯放不进手提箱,因为它太大”——模型需理解物体大小关系,而非字面含义。
- 动态知识更新:在处理时事如选举结果时,LLMs通过检索增强生成(RAG)整合新知识,避免过时。
直接知识与大语言模型(LLMs)和世界模型(World Models)的关系
世界知识是大语言模型(LLMs)和世界模型(World Models)的核心桥梁,但二者关系复杂且互补。
- 与LLMs的关系:LLMs通过海量文本预训练隐含捕获世界知识,形成“潜在世界知识”(latent world knowledge),支持预测和生成。但批评者认为这可能是表面统计而非真正理解(如因果推理)。例如,LLMs可模拟物理世界(如物体互动),但在边缘案例中易出错。研究建议通过知识图谱(KGs)增强LLMs,实现更结构化的知识表示,提高透明度和可靠性。 此外,LLMs面临知识过时问题,需要持续更新以捕捉“不断变化的世界知识”。
- 与世界模型的关系:世界模型是AI中模拟外部环境的抽象表示,常用于强化学习(如预测未来状态)。世界知识为其提供基础内容,使模型从“理解世界”转向“预测未来”。LLMs可视为隐式世界模型,因为它们在高维空间组织概念,类似于认知地图,支持时空预测。但传统世界模型更强调因果性和结构,而LLMs更依赖统计。整合二者(如在多模态模型中)可提升AI的泛化能力,例如在机器人控制或图像理解中应用。
总体而言,世界知识桥接了符号AI的显式表示与现代LLMs的隐式学习,推动向大型知识模型(Large Knowledge Models)的演进,以实现更接近人类智能的系统。
相关链接
企业AI知识库搭建与运营培训课程
呼叫中心AI知识库培训课程
个人知识体系构建能力课程
知识库知识管理系统
企业AI知识管理知识库软件系统清单
个人知识管理软件AI知识库系统清单
语言研究领域中的世界知识是什么?
English and Rhetoric Professor
Dr. Richard Nordquist is professor emeritus of rhetoric and English at Georgia Southern University and the author of several university-level grammar and composition textbooks.
核心要点
- 世界知识能帮助我们超越词典定义,借助语境理解词义。
- 儿童通过在所处环境中的直接体验构建世界知识,这对语言学习和读写能力有帮助。
- 我们的文化知识和通用世界知识有助于理解文本内容,并将词义联系起来。
- 在语言研究中,帮助读者或听者理解词语和句子含义的非语言信息,也被称为 “超语言知识”。
示例与论述
- “‘哦,你怎么认识这个词的?’清水问道。‘你这话什么意思,我怎么会不认识?住在日本,怎么可能不知道 “山口组”?谁都知道那是什么。’我略带不满地回答。”(戴维・查德威克,《谢谢与好的:一位美国人在日本的禅宗挫折》,阿卡纳出版社,1994 年)
- “理解能力的关键在于读者带入文本的知识。意义的构建依赖于读者的语言知识、文本结构知识、阅读主题相关知识,以及广泛的背景知识或世界知识。母语阅读研究权威理查德・安德森与彼得・弗里博迪提出了‘知识假说’,以解释这些要素在意义构建中所起的作用(1981 年,第 81 页)。玛莎・拉普・拉德尔进一步完善了这一假说,她认为这些不同类型的知识要素会相互作用,共同构建意义……‘有趣的是,阅读似乎正是获取阅读理解所需知识的绝佳途径。阿尔伯特・哈里斯与爱德华・西佩在讨论母语阅读能力发展时指出:“广泛阅读不仅能增加词义知识,还能提升主题知识和世界知识【斜体为原文所加】,而这些知识又能进一步促进阅读理解。”’(1990 年,第 533 页)”(理查德・R・戴、朱利安・班福德,《第二语言课堂中的泛读》,剑桥大学出版社,1998 年)
儿童世界知识的发展
“儿童通过直接或间接与周围环境互动,逐步构建对世界的认知。他们在家庭、学校和社区中的直接体验,无疑是世界知识储备最主要的信息来源。这类知识储备的大部分是在无直接指导的情况下偶然形成的。例如,某个孩子每天去主干道时,都要经过一条颠簸的碎石车道,车道两侧还有牛群 —— 这种经历会让她在脑海中形成一个‘车道’的认知模型,认为车道就具备这些特征。若想让她对‘车道’的理解更全面(比如知道车道可以是水泥、沥青、泥土或碎石铺设的),就需要让她接触更多不同类型的车道:要么亲自去过,要么通过与他人交谈,要么借助各种媒体……”(劳拉・M・贾斯蒂斯、哈拉・L・彭斯,《用故事书搭建支架:提升幼儿语言与读写能力指南》,国际阅读协会,2005 年)
世界知识与词义的关联
“要理解自然语言表达,通常仅知道表达中所用词语的字面(‘词典式’)含义和对应语言的组合规则是不够的。语篇处理实际上还涉及更多知识;这些知识可能与语言能力无关,而是与我们对世界的整体认知有关。假设我们正在阅读以下文本片段:
《罗密欧与朱丽叶》是莎士比亚早期的悲剧作品之一。这部戏剧的语言和戏剧效果广受评论家赞誉。
我们能完全理解这段文本,是因为我们可以将其含义与自身关于文化和日常生活的通用知识联系起来。我们知道最著名的莎士比亚是一位剧作家,而剧作家的主要工作是创作戏剧 —— 因此我们能推断,‘悲剧’在此语境中指的是一种艺术作品,而非重大不幸事件;同时也能推断,这部作品是莎士比亚创作的,而非他‘拥有’的。‘早期’这一时间属性只能修饰事件,因此我们可推断,它修饰的是莎士比亚创作《罗密欧与朱丽叶》这一事件。艺术创作事件的时间属性通常以创作者的生平为参照,因此我们能得出结论:莎士比亚创作《罗密欧与朱丽叶》时正值年轻时期。我们知道‘悲剧’是戏剧的一种类型,因此能将前一句中的《罗密欧与朱丽叶》与后一句中的‘戏剧’联系起来。同样,‘戏剧用某种语言创作、且具有戏剧效果’这一知识,也有助于我们理解句中代词‘it’(指代前文内容)的具体所指。”(叶卡捷琳娜・奥夫钦尼科娃,《世界知识整合与自然语言理解》,亚特兰蒂斯出版社,2012 年)