按被接受的结果计算成本

一次代理运行可能很便宜,完成的工作却很贵。把重试、工具调用和人工复核计入每个被接受的结果。

AI agent cost per outcome

简短的回答是什么?

衡量一项已完成且被接受的结果,而不只是一次模型调用。把模型 token、工具、重试、修正和人工复核都算进去;将运营成本与质量分开,并固定结果的定义。来源展示了成本归因数据,没有证明投资回报。

了解更多
在本页面

一个团队庆祝 AI 代理单次运行成本很低。然而,有的运行需要重试,有的输出要由人修正字段,还有少数会触发外部查询。一次运行仍然便宜,一件被接受的工作却越来越贵。这只是示例账本,不是实测结果。

一场代理运行演示展示了跨会话和团队的 token 与工作成本归因。看清支出有用,但支出仪表板不能独自证明价值。评估自动化时,分母和分子一样重要。

加总成本前,先定义结果

在数据同步中,模型可能先给自由文本字段分类,再移动记录。“运行成功”可以只表示模型返回了标签。真正有用的结果更严格:目标系统接受了正确记录,权限规则得到遵守,在规定的复核期内也不需要修正。这是两种不同单位。

选择工作流对用户承诺的单位,可以是一件已解决的客服案件、一张获批发票,或一份准确更新的客户资料。明确什么叫被接受,以及谁有权拒绝。没有定义,团队可以靠降低门槛让成本图看起来更好。

然后追踪每个被接受的结果经历了什么。

  1. 尝试
    模型调用
    可能需要
  2. 工具与重试
    额外工作
    随后
  3. 复核
    修正时间
    通过检查
  4. 被接受的结果
    已定义产出
概念性成本路径 一次尝试可能经过工具、重试和复核才成为被接受的结果;成本应归到工作项,而不只归到首次调用。

记录模型用量、工具调用、重试、人工复核和返工。分别展示,而不要合成一笔来历不明的金额。工具成本可以包含付费 API 调用;人工时间可先用分钟表示,只有声明本地假设后再换算成钱。

数量示例定义重要性
尝试启动一次运行反映负载,不代表交付价值
被接受的结果通过指定检查的工作项计算有用产出的分母
重试同一工作项再次尝试暴露隐藏计算与延迟
修正初次接受后的更改暴露质量债务
复核时间人工检查所用分钟暴露转移给人的工作

这张表提出记账类别,不提供代理或同步的性能基准。

跟着工作项走,不要只跟着模型走

模型可能便宜,工作流却很贵。假设分类只需一次调用,系统却还要抓取三条记录、等待外部 API,并请操作人员调解冲突。即便 token 减半,总成本也可能几乎不变。反过来,稍贵的分类若提供更好证据、减少错误,可能节省复核时间。哪种结果都不能预先断定,需要测量。

用工作项标识把尝试、工具调用和结果连起来。追踪也受隐私限制:记账需要数量与引用,不需要无限制复制客户数据。还应记录模型或规则版本,因为后续修改可能同时改变成本与错误模式。

平均值会藏住昂贵的尾部。除了中位数,再报告分布或至少较高的百分位。一个少见但反复重试的路径,可能花掉大笔预算,或耽误有时效要求的发送。安全停止的失败工作,与看似被接受却后来需要修正的错误工作,也要分开。

比较成本前,先定义质量

有些结果的确需要判断,这正是应制定复核准则的原因,而不是退回到“单次运行成本”。对客服回复来说,验收也许要求事实正确、行动获授权、语气合适。复核者可能有分歧;记录分歧,避免虚假的精确度。

精确的同步步骤可以更确定地验收:目标具有预期 ID 和字段,源事件只确认一次,重复事件没有再创建客户。后来的修正还应归到同一工作项。这样仪表板就不会把一次快速但错误的同步算成完成的价值。

成本不是唯一目标。延迟、可靠性、隐私和客户受害程度可能更重要。一个更便宜、却偶尔造成严重错误的工作流,也许更差。只在达到必要质量和权限门槛的方案之间比较成本。

比较还要有基线。用同样的验收定义测量原有人工流程或上一版自动化,否则新代理可能只是因为失败的记账方式不同而显得高效。为迟来的修正设固定观察窗口,对尚未经过完整窗口的工作项单独报告,不要悄悄标为成功。两人复核一项工作时,要计算两人的实际时间,并记录意见分歧。AI 工作流实施指南讨论更广的推出方式;这本账则检验某一种方式能否持续、合理地交付被接受的工作。

真正有用的成本问题不是“模型说一句话有多便宜”,而是“交付一个我们愿意保留的结果花了多少”。

常见问题

为什么单次模型调用的成本会误导人?

一个被接受的结果可能需要多次调用、外部工具、重试和人工修正。若这些步骤频繁发生,便宜的调用也会形成昂贵的工作流。

什么算被接受的结果?

在测量前按任务定义。例如,一条正确同步、通过验证,且在规定观察期内无需修正的记录。

应该计算人工复核时间吗?

比较端到端方案时应该计算,并单独记录。这样才能看出自动化减少了工作,还是仅把工作转移到人工复核。

申请抢先体验

请输入您的名字和公司电子邮箱地址。我们会发送确认 Tajo 访问申请的链接。

获取Brevo