企业Agent/RAG最核心的瓶颈:不是缺模型不是缺知识库,而是缺 “把任务翻译成知识需求、再把专家经验建模成AI可用知识” 的人
最好的模型、海量内容的知识库都有,Demo顺利跑通演示的时候也是好评如潮。
但真正进入业务环境运行的时候,却发现麻烦才开始:大量的例外,只能临时补充文档;切换不同的场景,需要反反复复修改提示词。某个案例可以临时修复,但同类问题层出不穷,会持续复发。
这是很多企业Agent项目的现状,问题出在哪里?
翻看项目立项材料,算力采购、文档入库、系统对接往往规划得很清楚。多数项目也会写明 Agent 要输出什么、交付结果是什么。
但这里普遍缺失关键一环:要达成这样的结果,它需要哪些信息、知识,这些信息知识在哪里,是否充裕。
这里面有2个问题,第一个问题是需要什么没有分析过;第二个是传统的知识库都是资源立场的,知识库堆得再大也不等于具体到某个任务Agent需要的信息、知识是存在的,可能存在着缺口。
只有解决第一个问题才能确定任务对应的信息知识需求,才能决定接什么系统、知识库里面应该存什么。在这个过程中也会发现知识缺口,需要组织相应的知识生产工作。
只想要好的结果,却没有拆解支撑结果的信息知识供给,后续建设就是无的放矢,只能在个案补丁里反复试错,沉淀不出稳定的业务能力。
为什么必须首先要从任务出发,往信息、知识侧倒推?
Agent嵌入业务流程的核心是承接一段可验收的工作,在这里面Agent只是执行者,清晰的任务结果只是预期的终点,但如何达到终点的过程中需要大量高质量适配AI的信息和知识支撑。
但大部分情况下,实现目的需要的信息和知识是什么,没有人知道也没有分析过,是个黑箱。
举个例子说明一下,譬如要做一个 “设备异常处理”的Agent,这是场景,还不是任务。
同一个场景下可以有完全不同的任务:
一是收到异常报告,完成事实核验,产出工程师可直接接手的交接记录;二是在核验之上,辅助诊断给出诱因、证据和排查方向。
同样做设备异常 Agent,哪怕写清了交付物,如果没有拆解支撑交付的动作、数据、知识,最终验收案例、系统对接、知识库建设,全部都会跑偏。
这就是为什么说企业AI落地的第一性原理是:
企业需求的业务结果 → 决定Agent承担什么任务 → 决定它在不同情境下要做哪些动作 → 决定它需要什么信息和知识。
确定交给AI的业务任务之后,第一项工作就是必须对任务进行分析,拆解成要完成任务需要的信息和知识需求。
刚开始准备试点的企业,除了需要模型、知识库,要想项目能够真正落地,第一位的问题是要去分析达成目标所需要的信息和知识是什么,这些内容有没有,有的内容从哪个渠道获取、如何治理;没有的内容,谁去生产和采集等。
而那些已经做出 Demo却不断返工的企业,深入的却分析,也就会发现,之所以迟迟无法落地的原因,很可能是欠缺了这项工作,需要优先补做这项分析:要达成你的目标,需要哪些具体的信息和知识,而不要奢望把手上的资料扔进去,就能出来好的结果。
为什么这个工作大部分企业都忽略了?
第一道门槛是认知。
传统人类去完成任务,大部分靠感觉和零散的经验,在遇到问题的时候,他有大量的背景信息和知识,对于需要去哪里获取信息可以通过自己的感觉查询、跟人交流方式进行,是下意识完成的。
但要让Agent代替人的分析和判断,就需要把这个事情明确出来,AI才能做到,这也是完成某个任务的上下文输入。
大部分企业模型、算力和知识库平台都能列进采购清单,任务知识分析这个工作很多甚至没有意识,或者容易被当成技术或者业务顺手就能做的事,既没人负责,也没给业务骨干留时间。
项目会上可以说清楚花了多少钱、接了几个系统、入库了多少文档。
但里面要是真问一句 “要达成这个交付结果,Agent需要哪些信息、依据什么知识判断”,大家甚至没有想过,输入认知盲区。
第二道门槛是能力。
更进一步,也有部分企业识别出来需要做这个事情,但有没有方法和人把它做出来?
可能情况也不乐观,业务专家能一眼看透某个事情,但你要问他如何看透的,他可能会说:感觉。
但感觉无法复制,AI也学不会,要真正的让AI具备专家的感觉,需要专家能够识别出来自己“看”这个动作背后是他在获取信息,而专家级表现背后是他获取的信息既全面又能抓住重点,这个时候应该把专家的获取信息的内容列出清单,并标注出其中的关键,这是知识。
更深入的,专家的“看透”是判断。但他怎么判断的,考虑了哪些因素,这些因素里什么是重点权重是什么,这是专家的知识。之前我们的文章里AI时代的经验知识萃取方法论:专家经验不是萃取出来的,而是知识重新建模的过程提过,即便专家愿意做这个事情,因为他大脑里并不是有成熟的清单和模型,这需要一个建模的过程,大部分专家也说不清楚。
这就是能力的问题,需要训练,该项工作并不是通常的业务专家就能完成的。
基于这种需求,我们提出 “知识架构师” 这个角色,就是为了让这项工作有明确的负责人。他要和业务方一起交付两样东西:
一份能指导系统接入和知识补齐的需求清单,一组能检验Agent是否把任务做成的验收案例。
碰到企业尚未形成的知识,他还要把问题界定清楚,推动业务专家开展建模和验证。
如何把Agent落地业务需要的信息知识需求分析出来?
可以利用知识管理中心的KTAF框架,这个框架的核心是从业务目标和高水平表现出发,分析到任务情境、关键行动,逐项分析所需信息与知识的方法论。基于分析可以形成任务和问题所需要的信息知识需求清单。该方法可以用于人才培养、经验萃取、AI落地分析等场景。
KTAF知识任务分析框架可以概括为一条链:
明确任务的预期结果和完成标准 → 拆解不同情境下的动作 → 逐项倒推信息和知识需求 → 对照现有供给识别缺口 → 补齐并验证。
当然在实践中分析要做多细,由任务决定:AI摘要、简单文档检索通常只需轻量分析。涉及跨系统操作、例外处理和业务交接,就要把关键动作和对应需求逐项拆清楚。
沿用上面设备异常的例子,如果试点只要求 Agent 做好初步核实和交接,可以这样分析:
| Agent 要完成的动作 | 做好这个动作需要什么 |
|---|---|
| 查询校准记录 | 设备编号、异常发生时间、查询入口,以及应以哪个时点的记录为准 |
| 按规则发起复测 | 复测触发条件、提交入口和表单所需信息 |
| 把异常交给工程师 | 接手人、已核实的事实、相关证据和待查事项 |
需求列出来以后,才能决定怎么满足:
系统里已有的信息 → 接通调用制度里已有的规则 → 确认版本和适用条件 企业尚未形成的知识 → 组织建模与验证
如果下一步要让Agent辅助诊断,而企业手里只有零散个案,就需要组织专家对照多个案例,归纳相似现象有哪些可能原因、用什么证据区分、证据不足时还要查什么,再用其他案例验证。
用已有方法处理一次异常,是在使用知识。归纳并验证一类异常的分析方法,是在生产知识。某个原因能否解释眼前这次异常,还得看本次证据。
已经做了,卡住以后怎么补?
假设Agent交出去的异常记录总是缺东西,就需要先拿几份真实记录和工程师一起看:
哪些内容是接手必需的?Agent 有没有取到?取到了,为什么没写进交接记录? 顺着这几个问题查下去,可能是数据没接通,也可能是已有规则没用对、工具调用失败,或者团队只定义了交付样式,却没有梳理支撑这份交付的信息与知识。
这几种问题,补同一份文档解决不了。
从错例定位没做好的动作 → 还原该动作的完成标准和需求 → 核查信息获取、知识使用与工具执行 → 找到原因并修正 → 用不同案例复测。
总结一下:
Agent要完成任何任务,都需要分析出这个任务中具体需要的信息和知识,这个工作在人类做的时候靠人的感觉就能完成大部分,不足的人可以边做边找。
但AI还不具备这样的能力,它需要你给它明确、具体的输入,才能拿到高质量的输出。
但这项工作,大部分机构从来没有思考过,也缺乏相关的人员和能力。造成的结果就是,虽然试点很热闹,但真正落地的却不多。
之前我们提到,需要知识架构师,但这样的人该怎么培养呢?
可以从熟悉业务的骨干和专家中选人,带着一项真实任务做完整轮分析。成果好不好,看拿到的人能不能接着干:技术人员知道该取哪些数据,业务专家知道哪些经验要提炼、哪些问题要建模,业务负责人知道怎么验收。
围绕这项能力,知识管理中心有提供KTAF知识任务分析的课程和企业工作坊。课程帮助业务骨干专家和AI项目团队掌握分析方法,并能围绕一项真实任务,做出第一版任务动作清单、信息与知识需求清单、缺口清单和验收案例。感兴趣可以联系(vx:511956894)我们交流。
反过来讲,如果仍然忽略这项工作,期望把手上的资料放进去就能实现智能化的分析和判断,这个事情基本上很难发生。也许定制一些演示还可以,但离落地实用还很远。(本文作者为知名知识管理专家田志刚,您可以通过微信号511956894联系他,本文摘自《专家级知识体系》。)