麻省理工學院（MIT）一項涵蓋逾 10 萬名開發者的大型研究揭示，AI 程式代理（AI coding agents）雖讓程式碼輸出量約增加 180%，但實際進入生產環境的軟體卻僅增加約 30%。這項研究是目前規模最大、最具代表性的 AI 工具生產力評估之一。

重點

  • AI coding 工具讓程式碼「產量」大幅攀升，但大量程式碼無法通過審查或測試，未能真正上線
  • 早期 AI coding 工具在軟體基準測試取得高分，誤導市場認為軟體工程已「攻克」
  • 可驗證性高是 AI coding 進步快的原因：編譯器與測試套件可立即判斷輸出是否通過，但「能通過測試」≠「能被部署」
  • 研究指出 AI 寫程式的品質落差仍十分明顯，企業應以「能進生產的程式碼比例」為評估指標

編輯按

這份研究為當前 AI coding 工具熱潮提供了重要反思視角。投資人與工程團隊在評估 AI coding agent 時，應以實際交付能力而非程式碼產量為依據。AI 工具在標準化測試中表現亮眼，但複雜的真實世界需求仍考驗其實用性。

本文由 AI 整理，原文：TechNews 科技新報