演示只要跑通一次。生产必须随时回答三个问题:它刚才做了什么,为什么这么做,花了多少钱。第一问最难。传统软件有成熟答案,日志、指标、调用链追踪,几十年打磨下来的工具链都在。可是当程序本身出自概率推理,控制流在运行时才生成,记忆随对话演化,「一次执行」就失去了可重复性:同样的输入不再对应同样的代码路径,「它刚才做了什么」也没有了唯一答案。这个领域现在的名字是 AgentOps。本文并排读四篇一手论文和一处工业标准现场,看这个答案走到了哪一步。
## 两个视角,一道鸿沟
2025 年 8 月的一篇论文把问题说得很直接。作者来自加州大学圣克鲁兹分校、上海科技大学与 eunomia-bpf 开源社区,他们指出现有工具存在一道关键的语义鸿沟(原文称 critical semantic gap):要么观察智能体的高层意图,也就是提示词与模型流量,要么观察它的低层动作,比如系统调用,两个视角无法因果关联。这种失明让人难以区分三种情况:良性操作、恶意攻击、昂贵的失败。
他们给出的方案叫边界追踪(boundary tracing):不进入应用代码,而是在稳定的系统接口上从外部监控智能体,用 eBPF 拦截 TLS 加密的模型流量以提取语义意图,同时监控内核事件以观察系统级效果,再用一个实时引擎加上二级模型分析,把两条流跨进程边界地因果关联起来。整个过程无需给智能体本身插桩,也不随上层接口的快速变化而失效,论文报告性能开销低于 3%。评测给出三类案例:检测提示注入攻击(注入是另一个话题,本文不展开)、识别浪费资源的推理循环、暴露多智能体系统里隐藏的协调瓶颈。项目已开源,代码托管在 eunomia-bpf 社区名下。
## 三套框架,三种切法
第一套框架出自 2024 年 11 月的论文。三位研究者对现有的 DevOps 工具做了系统映射研究:单是一条「Agent 与 DevOps」组合查询就在代码托管平台上返回 618 个仓库,他们筛选前三页结果,几条查询合计后对 17 件工具逐一分析特征与局限。产出是一个智能体工件的实体关系模型:用户目标在最上层,agent span 承接任务,知识库供给数据与上下文,reasoning span 生成计划,一个计划 span 调用一个或多个模型 span,计划最终落地为工作流。这些嵌套的 span 就是追踪应当覆盖的对象,他们的分类学(taxonomy)被定位为设计与实现 AgentOps 基础设施的参考模板,支撑监控、日志与分析三类能力。立场句也很直白:从 DevOps 视角看,给智能体启用可观察性,是确保 AI 安全的必要条件。
第二套框架出自 2026 年 6 月提交、同年 9 月更新的一篇综述:异常先行。它引用普林斯顿的 HAL 排行榜说,各类智能体系统的成功率普遍不高,并举例 SWE-Agent 的成功率仍低于 40%(原文照录),大量异常案例在阻碍任务完成;先前工作假设异常主要发生在任务执行期的特定步骤,这篇综述把边界向两头推开。执行前,意图识别与工作流的动态构建都可能出错,工作流不是静态的,随任务演化持续更新;执行后,任务完成不等于任务成功,一次构建可以正常终止而产物带着缺陷,一次根因分析可以全程没有可见异常、却因为过早终止或粒度不足而失败。它对 AgentOps 的定义是「用各种运维技术维护智能体系统」(原文称 Agent System Operations),把异常分为单体内与单体间两类,覆盖执行前、执行中与执行后的整个生命周期。单体间异常尤其贯穿始终:执行前主要是任务规格与编排失败,诱因常是含糊、不完整或恶意的输入与不当的子智能体构建;执行中,智能体之间交换信息时可能出现通信与信任异常。框架给出四个阶段:监控、异常检测、根因定位、解决;解决环节再按干预时机分为三类:执行前预防、执行中纠正、执行后恢复。文末附一节数据集与基准盘点。
第三套框架出自 2025 年 7 月 IBM 海法研究院的论文:角色先行。开发者、测试者、站点可靠性工程师、业务用户,四种角色在生命周期的不同点位与智能体系统打交道。论文给出一条六阶段自动化流水线:行为观察、指标收集、问题检测、根因分析、优化建议、运行时自动化,从看见行为一直闭环到自动动手。标题就是立场:自动化的关键作用是管理不确定性并使能自我改进的系统,不是消除不确定性,而是驯服它,以确保安全、自适应且有效的运行。
三套框架的切分维度互不相同:一套按工件切,一套按异常切,一套按角色与流水线切。连 AgentOps 这个词本身,在三篇里的所指也不完全一样。这不是谁对谁错,而是领域还没有就「观察什么、为谁观察」收敛出共同答案。
## 标准还在搬家
学术侧没有收敛,工业标准侧还在搬家。OpenTelemetry 的 GenAI 语义约定,官方文档页如今整页只有一句 Moved,约定被拆进独立仓库,作为对 OpenTelemetry 既有语义约定的扩展,覆盖 GenAI 客户端、MCP(Model Context Protocol)与特定提供商的 span、指标和事件,依赖用 Weaver 工具管理。值得注意的是,新仓库文档里的 Schema URL 仍标着 TODO:这份约定的地址标识还没有定下来。语义约定决定了一次模型调用该用哪些字段记录,这个基础本身还在搬运途中。
## 三个判断
判断一:AgentOps 不是 APM 的延长线[本文判断]。APM 追踪调用栈,同样的代码走同样的路径,多次运行取平均就是真相。AgentOps 面对的是决策路径:计划临时生成,记忆随对话变化,代码可能由智能体在运行时自己写出来执行。一次执行不可重复,追踪的对象就从「哪一行慢」变成了「它为什么选择这一步、依据是什么、后果是什么」。
判断二:三套框架互不收敛,是领域年轻的标志而不是混乱的标志[本文综合]。三篇论文各自回答的是不同的问题:追踪什么(工件模型)、什么算异常(异常分类加四阶段)、谁来用(角色加流水线)。问题本身没有对齐,答案自然对不上。
判断三:短期最值得盯的信号不是新工具,而是标准何时落定[本文判断]。GenAI 语义约定的整页搬家与悬空的 Schema URL 说明,「怎样才算一次观察」还在协商。口径落定之前,工具之间难比较,数据之间难互通。
## 你可以带走什么
做智能体开发的团队:选追踪方案之前,先回答要看到哪一层工件。目标、计划、模型调用、工作流,这套嵌套 span 的实体关系模型是现成的参照。
做平台运维的工程师:监控、检测、定位、解决四阶段可以当闭环检查表用,并且给「任务完成」和「任务成功」分别设监控点,后者更贵也更值得。
做评测的研究者:评测问做得多好,AgentOps 问它刚才做了什么。评测的话题另文已经讨论过,两者互补,不能互相替代。
普通读者:下次看到智能体产品的演示,可以多问一句,它有没有飞行记录仪,录像能不能回放。
如果你的智能体装上了飞行记录仪,你最想回放哪一段?评论区聊聊。
## 口径与边界
四篇论文均经预印本全文页实读,缓存在案;OpenTelemetry 两件为官方页面级留证。2026 年 6 月的综述存在更早的异号记录:arXiv 2508.02121,2025 年 8 月提交,原题含 A Survey on AgentOps,摘要与前者几乎相同,本文只引较新的记录,在此披露以免重复引用。17 件工具不逐一列名,避免变成品牌罗列。「低于 3%」与「SWE-Agent 成功率低于 40%」均按论文原文照录。「普林斯顿的 HAL 排行榜」按原文脚注指称:原文正文只写排行榜,脚注给出地址 hal.cs.princeton.edu,HAL 之名取自该地址。AgentOps、span 沿用英文原文惯例,不强译。IBM 作者的立场句归属原文作者,本文只转述,不推断其商业动机。提示注入检测在正文仅一句带过,不是本文主题。智能体评测另文已讨论,本文划界不展开。本文不构成对任何产品或项目的推荐与评价。
## 来源
AgentSight: System-Level Observability for AI Agents Using eBPF,arXiv:2508.02736,全文级,https://arxiv.org/abs/2508.02736
AgentOps: Enabling Observability of LLM Agents,arXiv:2411.05285,全文级
Agent System Operations: Categorization, Challenges, and Future Directions,arXiv:2606.01581(v2),全文级
Taming Uncertainty via Automation: Observing, Analyzing, and Optimizing Agentic AI Systems,arXiv:2507.11277,全文级
OpenTelemetry GenAI Semantic Conventions 官方文档页(Moved 告示原样留证),页面级
semantic-conventions-genai 独立仓库 README,页面级