一个有用的智能体,应该展示它如何工作
为什么证据、执行轨迹与明确的失败边界,比一个自信的最终答案更重要。
智能体可以给出一份措辞漂亮的答案,同时隐藏所有决定这份答案是否可信的步骤:它可能使用了过期上下文,忽略了失败的工具调用,或者把推断悄悄写成事实。语言越流畅,这些问题越不容易被注意到。
对于重要工作流,最终答案只是一个输出。系统还应该保留产生答案的路径。
从生成答案到构造主张
我更愿意把智能体报告建模成一条链:
evidence → finding → claim → report
Evidence 是观察结果,例如检索到的文档、工具响应或用户明确陈述。Finding 解释一项或多项证据。Claim 是系统准备向读者呈现的主张。Report 则负责组织这些主张。
这种分层制造了有价值的阻力:如果 claim 必须指向 finding,finding 又必须指向 evidence,报告就无法悄悄补造结论。当链条断裂时,产品应该展示不确定性,或者请求补充材料。
轨迹也是界面的一部分
调试日志写给服务维护者;执行轨迹则写给每一个需要理解智能体行为的人——开发者、审阅者,有时也包括最终用户。
一条有用的轨迹至少应该回答:
- 哪些上下文进入了本次运行?
- 模型请求了哪些能力?
- 哪些请求被允许、拒绝或重试?
- 每个结论依赖什么证据?
- 中断之后可以从哪里恢复?
轨迹不需要暴露模型隐藏的思维过程,但必须暴露系统动作及其后果。
失败也属于证据
很多评测页面只展示最好看的数字,却移除了工程师最需要的信息:系统在哪里开始变得不可靠。
如果一个 golden case 发生漂移,诚实的结果不是“接近完美”,而是同时给出指标、失败项和当前解释。一个可审阅的系统应该让限制和成绩一样容易被找到。
目标不是让智能体显得确定,而是让它的不确定性能够被检查。
参与讨论
评论区尚未开放。