烏克蘭開發者 slvDev 近日在 GitHub 發表開源專案「ESP32-AI」，成功讓 2,890 萬參數的語言模型，完全離線運行在售價約 10 美元（約新台幣 300 元）的 ESP32-S3 微控制器上，以每秒約 9.5 個詞元的速度即時輸出文字，整個過程完全不需連線伺服器。

重點

  • 極限硬體挑戰：ESP32-S3 僅有 512KB SRAM 與 8MB PSRAM，遠低於一般推論所需資源
  • 記憶體分層技術：借鑑 Google 的分層技術，將模型分層存放於不同速度的記憶體空間，實現超低資源推論
  • 完全離線運作：模型推論全程不需連線伺服器，適合 IoT、嵌入式與隱私敏感場景
  • 開源可複現：專案已公開在 GitHub，開發者社群高度關注並可自行嘗試部署

編輯按

ESP32-AI 展示的不是最強的 AI 能力，而是「用最少資源做到多少」的工程極限。這種邊緣 AI 技術對 IoT 設備的離線應用、智慧感測器、嵌入式系統都有直接啟發意義，是值得追蹤的開源里程碑。

本文由 AI 整理，原文：TechNews 科技新報