AgentOps常用于讨论智能体的运行、评价、维护和持续改进。不同团队使用的范围可能不同,共同问题是怎样了解系统在真实任务中做了什么,以及变更后表现是否符合预期。
观察什么才有帮助
任务结果、错误、延迟和使用成本可以从不同角度说明运行情况。仅记录模型回答,可能看不到外部工具失败;仅记录接口成功,也可能遗漏实际任务未完成。
版本与环境需要说明
模型、提示词、工具与资料变化都可能影响表现。讨论系统质量时,保留相应条件有助于理解结果,而不是把所有变化归因于一个模型名称。
观察也要考虑资料边界
运行记录可能包含用户材料。记录得更多不一定更好,应围绕实际用途和允许范围处理。OpenTelemetry等公开工作提供相关语义约定,具体采用方式需结合系统需求。
理解这些问题时,可以结合Agent Evaluation继续比较相关概念的含义与适用范围。
相关项目探索,可从LingoAI的智能体方向继续了解。
常见问题:有监控面板就代表Agent可靠了吗? 不代表。可观察性提供判断材料,仍需明确任务标准和实际改进。
公开参考资料: OpenTelemetry GenAI 语义约定。