法國 AI 新創 ZML 近日發布全新開源 LLM 推論伺服器「ZML/LLMD」，讓各種開源大語言模型能在不同硬體晶片上自由執行，不再被綁定於特定供應商生態系。

LLMD 支援的硬體平台涵蓋：NVIDIA GPU、AMD GPU、Google TPU、Apple Metal 以及 Intel Arc，只需一套代碼即可跨平台部署，大幅降低企業因採購不同廠牌 AI 硬體所帶來的遷移成本。

重點

  • 跨晶片部署：LLMD 讓開源 LLM 可在 Nvidia、AMD、Google TPU、Apple Metal、Intel Arc 上執行，無需重寫推論代碼
  • 免費開源：ZML 以免費方式發布 LLMD，目標是建立去中心化的 AI 推論生態系
  • 打破供應商鎖定：創辦人 Steeve Morin 表示，目標是打破硬體孤島，讓 AI 基礎設施更靈活
  • LLM 推論優化焦點：AI 推論效率已超越模型訓練，成為業界主要競爭戰場

編輯按

ZML/LLMD 以「硬體中立」為核心定位，切中企業在多雲、多晶片環境下的部署痛點。若能持續維護並獲得開源社群支持，有機會成為跨晶片 LLM 部署的基礎工具之一，值得開發者關注。

本文由 AI 整理，原文：TechNews 科技新報