AI 應用

WWDC26:在 Mac 上用 MLX 跑本地代理式 AI——Apple 把 on-device Agent 當一級公民

2026-07-18 | 約 9 分鐘 | MAQ 技術團隊

Apple 在 WWDC26 釋出一支官方開發者影片 「Run local agentic AI on the Mac using MLX」(Session 232,約 13 分鐘),主軸只有一句話:不連雲端、不用 API、不用訂閱,用 MLX 讓一整套 AI 代理(agent)工作流全程跑在你自己的 Mac 上。它示範了 OpenCode 這類 code agent 接本機模型、Xcode 直接內建本地模型、以及把推論擴展到多台 Mac。先看這支官方影片:

講者是 MLX 團隊工程師 Angelos。官方場次摘要開宗明義:「Run AI agents locally with privacy, low latency, and offline access.」——在本地跑 AI 代理,兼顧隱私、低延遲與離線可用。這篇把影片的重點整理成文,並誠實對照 MAQ 的 Mac 工作站該怎麼選。

先認識 MLX:Apple 為自家晶片打造的機器學習框架

MLX 官方定義是「an array framework for efficient and flexible machine learning on Apple silicon」——一套為 Apple Silicon 設計的陣列運算框架,API 風格接近 NumPy,最大特色是針對統一記憶體(unified memory)設計:CPU 與 GPU 共享同一池記憶體,模型不必在裝置間搬資料。它提供 Python、Swift、C++、C 綁定,生態包含語言模型工具鏈 MLX-LM、語音辨識 MLX Whisper 等。

影片的核心,是把「在 Mac 上跑一個會自己動手的 AI 代理」拆成清楚的四層堆疊

  • MLX — 最底層,負責 Metal 加速與記憶體管理的陣列運算。
  • MLX-LM — 上面一層,負責載入、執行、量化與微調語言模型。
  • MLX-LM Server — 再上一層,把模型包成一個OpenAI 相容的 HTTP server,對外暴露標準 API。
  • 上層 agent — 最上面接任意代理框架(影片用的是 OpenCode)。

關鍵就在第三層:因為 MLX-LM Server 講的是「OpenAI 相容」這套業界標準 API,任何原本設計來接雲端模型的工具,只要把網址改指到本機,就能無痛換成你 Mac 上跑的模型。這是整支影片「全程不出機器」的技術地基。

影片重點一:本地代理的三個賣點——隱私、低延遲、離線

Apple 把「在本地跑代理」的價值歸納為三點,也是這支影片反覆強調的訴求:

  • 隱私(privacy):程式碼、文件、對話全程留在你的 Mac 上,不上傳任何伺服器。對有機密或法遵顧慮的團隊,這是雲端服務難以取代的。
  • 低延遲(low latency):模型就在本機,少了往返雲端的網路來回,互動更即時。
  • 離線可用(offline access):沒有外網一樣能運轉——這正是統一記憶體大、又貼著硬體最佳化的 Apple Silicon 能做到的事。

影片也提到幾個讓本地代理實用起來的機制:structured tool calling(結構化的工具呼叫,讓模型能可靠地叫用外部工具)、reasoning models(推理模型)、以及 continuous batching(連續批次:新進來的請求可以加入正在跑的批次,不必等當前批次跑完,提升多請求並行的吞吐)。

影片重點二:OpenCode 與 Xcode——代理真的接上本機模型

光有 server 不夠,影片把上層工具怎麼接示範得很具體。

OpenCode(開源的終端機 code agent)的接法,是定義一個本地 provider:把網址設成 localhost、model name 設成 server 提供的名稱,再告訴 OpenCode 所有任務都用這個本地模型。接上後,代理就能讀你的程式庫、摘要變更、甚至從零寫出一個 App。

Xcode 的整合更貼近日常開發:打開 Xcode 設定、切到 Intelligence 分頁、點 Add Chat Provider、選 Locally Hosted 這個 provider 類型,填上啟動 MLX server 時選的(demo 中是 8080)。接上之後,Xcode 就能讀專案檔、理解 build error、並產生對應的修正——而這一切都跑在你自己的機器上,不經過任何雲端。

影片重點三:一台不夠,就擴展到多台 Mac

當你想跑的模型大到單台記憶體裝不下,MLX 支援把推論分散到多台 Mac。影片示範的做法是用 mlx.launch 指令,搭配一份 hostfile(記錄各節點資訊與連線類型)來啟動分散式任務。

連線這一層,Apple 表示自 macOS 26.2 起支援 Thunderbolt 上的 RDMA(遠端直接記憶體存取),提供低延遲、高頻寬的節點間通訊,四節點最高可達約 3 倍加速。硬體端,Apple 也提到 M5 晶片具備專屬的 Neural Accelerators,MLX 可針對它做 prompt processing,官方稱矩陣乘法比 M4 快約 4 倍。想更深入這塊的人,同一屆 WWDC26 另有一場 Session 233 專講分散式推理與訓練。

(附帶一提:Thunderbolt RDMA 支援、macOS 版本與晶片世代屬 rollout 細節,這裡引用的是 Apple 官方於場次與 WWDC 期間的原始說法,實際供應與版本以 Apple 最新公告為準。)

這代表什麼:Apple 把 on-device agentic AI 當成一級公民

把這支影片放回 WWDC26 的整體脈絡看,訊號很清楚:Apple 正式把「裝置端的代理式 AI」當成一級公民在推,而不再只是實驗性的示範。

  • 官方框架、官方工具鏈、官方 session:MLX 不是第三方社群玩具,而是 Apple 自家框架,還被寫進 Xcode 的設定介面。當一個能力被做進 IDE 的內建設定,代表它被當成常態工作流,不是實驗。
  • 開發者不再「必須」上雲:過去要讓工具接 AI,幾乎預設就要一把雲端 API key、一份訂閱、一條網路。這支影片示範的是——只要模型裝得進你的 Mac,同一套代理工作流可以完全長在本機,資料不出門、沒有 per-token 成本、離線也能跑。
  • 硬體與框架一起補位:統一記憶體讓單機裝得下夠大的模型、Thunderbolt RDMA 讓多機能擴展、M5 的 Neural Accelerators 再把單機速度往上推。軟硬體是配套一起走的。

本地代理式 AI 的門檻,正從「你有沒有雲端預算」,變成「你這台機器的記憶體裝不裝得下這個模型」。

MAQ 觀點:想照著影片動手,硬體這關 MAQ 幫你備好

先把話講清楚:這支影片是 Apple 的官方教學,MLX、Xcode、OpenCode 都不是 MAQ 的產品。但影片示範的每一件事,都有一個共同的前提——你得有一台記憶體夠大的 Apple Silicon Mac。這正是 MAQ 能補位的地方。

統一記憶體是 Apple Silicon 跑本地模型的最大本錢:CPU 與 GPU 共享同一池記憶體,整池都能當「可用的 VRAM」,所以單機就能載入 70B 級的量化模型做推論——而且安靜、省電。MAQ 站上既有口徑也提過:用 MLX 框架、或剪輯 4K/8K,Mac Studio 統一記憶體高(最高 96GB)且省電。這條路我們自己也在走:MAQ 後台的 AI 助理就跑在一台 Mac Studio 上、用 MLX 引擎的本地模型

下面是 MAQ 的 Mac 工作站四個機型與現價,對照著影片的用途來選:

機型 / 適合誰晶片與記憶體關鍵差異現價
M4 Mac mini
入門本地小模型、開發測試
Apple M4 晶片
入門統一記憶體
最省的入門起點,先把本地代理流程跑起來 NT$42,900
M4 Pro Mac mini
中量本地模型、桌面 agent
Apple M4 Pro 晶片
中階統一記憶體
小體積、效能與價格的平衡點 NT$54,900
Mac Studio M4 Max
本地 70B 量化推論、多軌剪輯
Apple M4 Max 晶片
大容量統一記憶體
本地 70B 級量化推論的甜蜜點 NT$130,400
Mac Studio M3 Ultra
最大記憶餘裕、8K 工作流
Apple M3 Ultra 晶片
統一記憶體最高 96GB
現行 Mac 全線記憶體上限,留最多工作空間 NT$184,900
M4 Mac mini
入門本地小模型、開發測試
Apple M4 晶片
入門統一記憶體
最省的入門起點,先把本地代理流程跑起來
NT$42,900
M4 Pro Mac mini
中量本地模型、桌面 agent
Apple M4 Pro 晶片
中階統一記憶體
小體積、效能與價格的平衡點
NT$54,900
Mac Studio M4 Max
本地 70B 量化推論、多軌剪輯
Apple M4 Max 晶片
大容量統一記憶體
本地 70B 級量化推論的甜蜜點
NT$130,400
Mac Studio M3 Ultra
最大記憶餘裕、8K 工作流
Apple M3 Ultra 晶片
統一記憶體最高 96GB
現行 Mac 全線記憶體上限,留最多工作空間
NT$184,900

價格為 MAQ 現行實售起價;規格可客製,實際配置與當下可取得的記憶體選項以 MAQ 最新報價為準。現行 Mac Studio 全線統一記憶體最高 96GB。

也要誠實提醒一件事,這和 MAQ 站上一貫的口徑一致:Mac 線強在統一記憶體推論、省電與安靜,但重度訓練與大量出圖仍是 NVIDIA CUDA 的強項。站方 faq 就寫得很直白——MLX 或 Ollama 可流暢跑 70B 模型 4-bit 量化推論,但純 GPU 訓練仍以 NVIDIA CUDA 平台較佳。所以如果你的主力是 PyTorch 訓練、微調,或每天跑大量 ComfyUI/擴散模型出圖,該搭一台 NVIDIA 工作站就別勉強用 Mac;常見的務實配置,是 Mac Studio 當本地推論與剪輯主機、另搭 NVIDIA 做生成式 AI 與訓練。

一句話總結:Apple 這支影片證明了「代理式 AI 完全長在本機」已經是官方一級路線;而要照著它動手,你需要的那台大記憶體 Apple Silicon,MAQ 的 Mac 工作站線幫你備好、預載好、送到府驗好機。不確定用途該配哪一台,可先看 AI 硬體選購指南,把模型大小與預算對應到合適規格。

資料來源:Apple 官方影片「WWDC26: Run local agentic AI on the Mac using MLX」(Apple Developer 頻道,YouTube,2026-06-08,https://www.youtube.com/watch?v=wykPErJ8M-8)與 Apple 官方場次頁 developer.apple.com/videos/play/wwdc2026/232/;MLX 定義引自 mlx-framework.org。影片重點為 MAQ 之整理與觀點,部分技術數字(如四節點約 3 倍、M5 約 4 倍矩陣乘法)為 Apple 於場次與 WWDC 期間之說法,rollout 與版本以 Apple 最新公告為準。Apple、Mac、Mac mini、Mac Studio、MLX、Xcode、Apple Silicon 為 Apple Inc. 之商標;OpenCode、Ollama、NVIDIA、CUDA 等名稱為各自所有者之商標。價格為 MAQ 現行實售起價,採購前請以 MAQ 最新報價為準。

常見問題

MLX 和 Ollama 差在哪?

MLX 是 Apple 官方為 Apple Silicon 打造的陣列運算框架,影片裡把它組成四層堆疊:MLX(底層陣列運算與 Metal 加速)→ MLX-LM(載入、量化、微調模型)→ MLX-LM Server(對外提供 OpenAI 相容的 HTTP API)→ 上層 agent(如 OpenCode)。因為 Server 這層是標準 API,OpenCode、Xcode 這類工具只要指到本機的網址與埠就能接上。Ollama 則是建在 llama.cpp 之上、主打「一行指令拉模型即用」的易用工具,自 0.19 版起,safetensors 格式的模型在 Apple Silicon 上改走 MLX 推論(GGUF 格式仍走 llama.cpp),兩者差距因此縮小。想最貼硬體、自己控量化與 batch、或把本機模型接進 agent,用 MLX 最有彈性;想開箱即用選 Ollama。MAQ 站上既有口徑也提過:MLX 或 Ollama 都能流暢跑 70B 模型的 4-bit 量化推論。

跑影片裡的本地代理,要什麼規格的 Mac?

影片的重點是「完整代理工作流全程 on-device」,能不能跑的關鍵是統一記憶體裝不裝得下你選的模型。輕量本地小模型,入門的 Mac mini 就能起步;要穩定跑 70B 級模型的 4-bit 量化(權重約佔 40 餘 GB),建議走 Mac Studio 這種大記憶體機型(現行 Mac 全線統一記憶體最高 96GB)。影片示範的 Xcode 整合步驟是:開 Xcode 設定、切到 Intelligence 分頁、點 Add Chat Provider、選 Locally Hosted 類型、填上啟動 MLX server 時選的埠(demo 中用 8080),接上後 Xcode 就能讀專案、理解 build error 並產生修正。MAQ 的 Mac 全線出廠都可預載 MLX 與 Ollama,開機即用。

影片講的「多 Mac 擴展」是什麼?

當單台的記憶體裝不下更大的模型時,MLX 支援把推論分散到多台 Mac 上跑。影片示範的做法是用 mlx.launch 指令,搭配一份 hostfile(記錄各節點資訊與連線類型)來啟動分散式任務。Apple 表示自 macOS 26.2 起支援 Thunderbolt 上的 RDMA 低延遲高頻寬通訊,四節點最高可達約 3 倍加速;同場 WWDC26 另有一場 Session 233 專門深入分散式推理與訓練。這屬於進階的叢集用法——對絕大多數個人與團隊,先把單機的統一記憶體配足,通常就已足夠。

想照著這支官方影片動手,你需要一台大記憶體的 Apple Silicon

影片裡的本地代理工作流,關鍵是統一記憶體要裝得下你選的模型。MAQ 的 Mac 工作站線從 M4 Mac mini(NT$42,900 起)到 Mac Studio M3 Ultra(NT$184,900 起),統一記憶體最高 96GB,出廠可預載 MLX 與 Ollama,蘋果原廠保固。