PrismML 於 2026 年 7 月 14 日正式推出 Bonsai 27B，宣稱是第一個能在 iPhone、iPad 及 Mac 上原生執行的 270 億參數大型語言模型（LLM），同時支援以 CUDA 在 NVIDIA GPU 上執行。模型權重與開發者預覽 API 已以 Apache 2.0 授權公開釋出。
Bonsai 27B 的關鍵技術在於低位元壓縮，將原本約 54GB 的 27.8B 參數模型大幅壓縮至可在行動裝置記憶體內執行的大小，同時維持有競爭力的推理品質。
重點
- 裝置端原生執行：支援 iPhone、iPad、Mac 等 Apple 裝置，無需雲端即可推理
- CUDA 同步支援：兼顧伺服器與本地 GPU 部署情境
- 完全開源：Apache 2.0 授權，開放模型權重與開發者 API 預覽
- 蘋果正在評估：執行長 Babak Hassibi 表示與 Apple 討論「進展順利」，雙方正評估裝置端效能、耗電與速度表現
編輯按
端側大模型競賽正在加速，27B 參數在行動裝置上流暢執行，代表本地 AI 推理門檻已顯著降低。若 Apple 決定採用此類模型，將對 Apple Intelligence 的未來架構帶來重大影響，也將改變雲端 AI 服務的競爭格局。開源策略讓開發者能自行整合，有助加速生態系形成。
本文由 AI 整理，原文：TechNews 科技新報