韓國科學技術院（KAIST）電氣電子工程學系柳民秀教授團隊，發表了全球首份針對 AI 代理（AI Agent）能源成本的系統性定量分析報告，揭示一個驚人數字：AI 代理的單次查詢耗電量，比傳統生成式 AI 聊天機器人高出 136.5 倍。

重點

  • GPU 大量空轉：AI Agent 在等待工具呼叫回應、人類輸入或外部 API 期間，GPU 超過半數時間處於閒置狀態
  • 重複 LLM 呼叫是主因：代理完成一項任務通常需多輪推理與工具調用，遠多於傳統單次問答
  • 136.5 倍能耗差距：與傳統聊天 AI 相比，AI Agent 的能耗差距極為懸殊
  • 架構優化方向：研究團隊建議從硬體排程與批次處理切入，優化 AI 代理的資源利用效率

編輯按

隨著 Claude Code、Codex、Cursor 等 AI coding agent 被大規模採用，AI Agent 的運算成本問題已成為企業部署的主要障礙之一。KAIST 這份報告為業界提供了量化基準，也為未來 AI Agent 架構設計（包括更高效的 GPU 排程、批次推論策略）指明了方向，對於構建高效 Agentic AI 系統的開發者具有重要參考價值。

本文由 AI 整理，原文：TechNews 科技新報