月之暗面（Moonshot AI）近日正式發布開放權重大型語言模型 Kimi K3，在程式設計與 AI Agent 等基準測試中展現強勁表現，引發業界廣泛討論。

重點

  • 超長脈絡視窗：Kimi K3 支援約 100 萬 token 的超長上下文視窗，大幅超越多數現有開放模型。
  • KDA 創新架構：採用自研 Kimi Delta Attention（KDA）架構，結合混合線性注意力與記憶機制，有效降低 KV Cache 記憶體負擔。
  • WideEP 分散式 MoE：搭配 WideEP 技術，將 896 個專家分散至多顆 GPU，確保每顆 GPU 的高頻寬記憶體（HBM）只承載少數專家，提升推論效率。
  • 多模態設計：支援文字、程式碼等多模態輸入，特別強化程式設計與 Agentic 任務能力。

編輯按

Kimi K3 的開放權重策略在業界引發討論，部分觀察者認為此舉有助於加速 AI 能力下放，也有聲音憂慮開放大模型可能衝擊商業模型生態。無論如何，此次發布是繼 DeepSeek、Llama 之後，又一具備競爭力的中國開源大模型，值得開發者持續關注其後續評測數據。

本文由 AI 整理，原文：TechNews 科技新報