AI 產業出現明顯矛盾：模型性能持續進步、推理單位成本不斷下降，但企業的 AI 帳單卻快速膨脹。分析指出，問題核心不只是模型推理本身，更在日益普及的「代理式工作流（Agentic Workflows）」。

當 AI Agent 執行多步驟任務時，每一步都需讀取完整的 context window、呼叫外部工具並反覆測試，導致 Token 消耗量呈倍數甚至數十倍增長。看似平常的任務如「串接 Excel、CRM 與網路搜尋製作報告」，累積 Token 消耗量可能高達數十萬乃至數百萬個。

重點

  • 簡單問答：數百至數千 Token
  • Agentic 任務（多步驟 + 工具呼叫）：可達數十萬至數百萬 Token
  • 定期自動執行的 Agent（如每 15 分鐘一次報告）成本尤難控制
  • 模型定價下降趨勢無法抵銷 Agentic 用量增長帶來的成本壓力
  • 企業需重新評估 AI Agent 任務邊界與 Token Budget 管理策略

編輯按

這是 Agentic AI 從概念走入企業 IT 預算的必經陣痛。Token 成本高昂的根本原因在於 LLM 每次互動都重新處理整段對話，不同於傳統軟體的增量執行模型。對 AI 工具廠商而言，如何讓 Agent「省 Token」將成為下一輪差異化競爭點。

本文由 AI 整理，原文：TechNews 科技新報