一个团队庆祝 AI 代理单次运行成本很低。然而,有的运行需要重试,有的输出要由人修正字段,还有少数会触发外部查询。一次运行仍然便宜,一件被接受的工作却越来越贵。这只是示例账本,不是实测结果。
一场代理运行演示展示了跨会话和团队的 token 与工作成本归因。看清支出有用,但支出仪表板不能独自证明价值。评估自动化时,分母和分子一样重要。
加总成本前,先定义结果
在数据同步中,模型可能先给自由文本字段分类,再移动记录。“运行成功”可以只表示模型返回了标签。真正有用的结果更严格:目标系统接受了正确记录,权限规则得到遵守,在规定的复核期内也不需要修正。这是两种不同单位。
选择工作流对用户承诺的单位,可以是一件已解决的客服案件、一张获批发票,或一份准确更新的客户资料。明确什么叫被接受,以及谁有权拒绝。没有定义,团队可以靠降低门槛让成本图看起来更好。
然后追踪每个被接受的结果经历了什么。
- 尝试模型调用可能需要
- 工具与重试额外工作随后
- 复核修正时间通过检查
- 被接受的结果已定义产出
记录模型用量、工具调用、重试、人工复核和返工。分别展示,而不要合成一笔来历不明的金额。工具成本可以包含付费 API 调用;人工时间可先用分钟表示,只有声明本地假设后再换算成钱。
| 数量 | 示例定义 | 重要性 |
|---|---|---|
| 尝试 | 启动一次运行 | 反映负载,不代表交付价值 |
| 被接受的结果 | 通过指定检查的工作项 | 计算有用产出的分母 |
| 重试 | 同一工作项再次尝试 | 暴露隐藏计算与延迟 |
| 修正 | 初次接受后的更改 | 暴露质量债务 |
| 复核时间 | 人工检查所用分钟 | 暴露转移给人的工作 |
这张表提出记账类别,不提供代理或同步的性能基准。
跟着工作项走,不要只跟着模型走
模型可能便宜,工作流却很贵。假设分类只需一次调用,系统却还要抓取三条记录、等待外部 API,并请操作人员调解冲突。即便 token 减半,总成本也可能几乎不变。反过来,稍贵的分类若提供更好证据、减少错误,可能节省复核时间。哪种结果都不能预先断定,需要测量。
用工作项标识把尝试、工具调用和结果连起来。追踪也受隐私限制:记账需要数量与引用,不需要无限制复制客户数据。还应记录模型或规则版本,因为后续修改可能同时改变成本与错误模式。
平均值会藏住昂贵的尾部。除了中位数,再报告分布或至少较高的百分位。一个少见但反复重试的路径,可能花掉大笔预算,或耽误有时效要求的发送。安全停止的失败工作,与看似被接受却后来需要修正的错误工作,也要分开。
比较成本前,先定义质量
有些结果的确需要判断,这正是应制定复核准则的原因,而不是退回到“单次运行成本”。对客服回复来说,验收也许要求事实正确、行动获授权、语气合适。复核者可能有分歧;记录分歧,避免虚假的精确度。
精确的同步步骤可以更确定地验收:目标具有预期 ID 和字段,源事件只确认一次,重复事件没有再创建客户。后来的修正还应归到同一工作项。这样仪表板就不会把一次快速但错误的同步算成完成的价值。
成本不是唯一目标。延迟、可靠性、隐私和客户受害程度可能更重要。一个更便宜、却偶尔造成严重错误的工作流,也许更差。只在达到必要质量和权限门槛的方案之间比较成本。
比较还要有基线。用同样的验收定义测量原有人工流程或上一版自动化,否则新代理可能只是因为失败的记账方式不同而显得高效。为迟来的修正设固定观察窗口,对尚未经过完整窗口的工作项单独报告,不要悄悄标为成功。两人复核一项工作时,要计算两人的实际时间,并记录意见分歧。AI 工作流实施指南讨论更广的推出方式;这本账则检验某一种方式能否持续、合理地交付被接受的工作。
真正有用的成本问题不是“模型说一句话有多便宜”,而是“交付一个我们愿意保留的结果花了多少”。
常见问题
为什么单次模型调用的成本会误导人?
一个被接受的结果可能需要多次调用、外部工具、重试和人工修正。若这些步骤频繁发生,便宜的调用也会形成昂贵的工作流。
什么算被接受的结果?
在测量前按任务定义。例如,一条正确同步、通过验证,且在规定观察期内无需修正的记录。
应该计算人工复核时间吗?
比较端到端方案时应该计算,并单独记录。这样才能看出自动化减少了工作,还是仅把工作转移到人工复核。