智能体的成本与延迟来自完整任务过程,不只来自模型的一次回答。模型调用、检索、外部工具、重试和持续运行都可能产生费用或等待,需要结合实际任务理解。
单价与总成本不同
较便宜的一次调用,如果需要更多重复或人工纠正,未必降低总成本。较快产生第一个字,也不表示整个任务会更快完成。
吞吐与延迟回答不同问题
吞吐关注一定时间处理多少工作,延迟关注某项请求或任务等待多久。系统改进可能同时涉及模型服务、上下文和任务组织;一个指标的改善不能自动代表所有体验改善。
如何进行比较
明确任务规模、质量要求和运行条件,再比较完成结果与总资源使用。vLLM相关原始研究展示了模型服务层优化的方向,但其历史实验结果不是所有当前环境的固定表现。
理解这些问题时,可以结合Token继续比较相关概念的含义与适用范围。
相关项目探索,可从LingoAI的智能体方向继续了解。
常见问题:少用token就一定更划算吗? 不一定。减少无关内容有帮助,但遗漏必要资料也可能导致任务失败或反复查找。
公开参考: vLLM与PagedAttention研究。