10 月中旬以來，大型語言模型領域有三件值得企業 IT 留意的消息：Mistral AI 於 10 月 29 日釋出 1 兆參數的 Mistral Large 4 開放權重；llama.cpp 於 10 月 15 日推出 v0.7.0，新增「MoE 專家 GPU 快取」；Anthropic 則在 11 月 9 日發表 Claude Fable 5.2。前兩項關係到大型開放權重模型能否在自己的硬體上執行，第三項則是雲端最高階模型的最新進展。以下依序說明，並整理各種部署方式的硬體門檻。
Mistral Large 4：1 兆參數、可商用的開放權重模型
Mistral AI 先在 10 月 6 日推出 Mistral Large 4 公開預覽版與 API，10 月 29 日再於 Hugging Face 釋出權重。依官方模型卡，Mistral Large 4 是總參數約 1 兆的混合專家（MoE）模型，共有 128 個路由專家與 1 個共享專家，每個 token 只啟用其中 4 個路由專家，啟用參數約 490 億（含嵌入層與輸出層約 520 億，對應模型名稱中的「A52B」）。
- 上下文長度：100 萬個 token。
- 輸入與輸出：可讀取文字與圖片，輸出文字；支援工具呼叫、JSON 結構化輸出，以及低、中、高三段推理強度。
- 語言：官方表示可流暢使用 160 種以上語言。
- 訓練：官方說明以 3,800 顆 NVIDIA Grace Blackwell GPU，在 Mistral 位於歐洲的自有資料中心從頭訓練。
- 官方權重格式：FP8 原始權重（約 1.06TB）與 NVFP4 版本（約 610GB，需 Blackwell 世代 GPU）。llama.cpp 團隊與社群另外提供 GGUF 量化版本。
Mistral 公布的成績包括 BrowseComp 84.5%、FrontierCode 2.0 19.7%、Artificial Analysis Coding Agent Index 48%。透過 Mistral API 使用的價格為每百萬 token 輸入 0.70 美元、輸出 2.10 美元。
授權：企業內部使用不需另外簽約
Mistral Large 4 採用「Mistral Ecosystem Open-Weight License」，以 MIT 授權修改而成，允許使用、修改、微調、再散布與商業用途。主要的限制是：若被授權方（使用者）或其關係企業經營「模型即服務」（Model as a Service）業務，將模型或其衍生模型用於商業用途前，必須先與 Mistral 另簽商業授權。散布時則須保留原著作權與授權聲明。
條文對「模型即服務」的定義，是讓第三方透過 API 或託管端點存取模型，並能實質控制輸入、參數或訓練資料；模型能力僅內嵌於特定功能的終端產品，以及單純轉送請求至他人託管的模型，不屬於這個定義。此外，第 3 條明定上述要求不適用於內部使用，也就是不把模型提供給第三方的使用方式。換言之，企業在自己的伺服器上部署 Mistral Large 4 供員工使用，或將它嵌入自家產品的特定功能，都不需要另外取得商業授權；對外販售模型 API 的業者才需要。
1 兆參數模型在地端需要多少記憶體
MoE 架構讓每個 token 的運算量接近一顆 500 億參數的模型，但路由器可能選中任何一個專家，因此全部 1 兆參數都必須放在記憶體中，可以是 GPU 的顯示記憶體，也可以是系統記憶體。下表整理 Hugging Face 上各版本的實際檔案大小，僅計權重本身；實際執行時，KV 快取與運算所需的記憶體另計。
| 版本 | 權重大小 | 執行方式 |
|---|---|---|
| FP8（官方原始權重） | 約 1.06TB | vLLM 或 SGLang；官方範例為單台 8 張 GPU 的張量平行。Hugging Face 的雲端部署採 8 張 H200。 |
| NVFP4（官方） | 約 610GB | 需 Blackwell 世代 GPU。Dell 透過 Hugging Face 提供的部署方案為 B300 節點使用 4 張 GPU。 |
| Q4_K_M（GGUF） | 約 635GB | llama.cpp；可分散於 GPU 與系統記憶體。 |
| Q2_K（GGUF） | 約 381GB | llama.cpp；依 Hugging Face 說明，可在單台 512GB 統一記憶體的 Apple Silicon Ultra 上執行。 |
| IQ2_XXS（GGUF） | 約 298GB | llama.cpp；位元數最低，品質損失也最大。 |
以工作站等級的硬體換算：八張 RTX PRO 6000 Blackwell 合計 768GB 顯示記憶體，足以放下 NVFP4 或 Q4_K_M 權重；一台 512GB 統一記憶體的 Mac Studio 可執行 Q2_K 等 2-bit 版本。若不追求全部放進 GPU，則可以把專家權重放在大容量的系統記憶體，再由 GPU 負責其餘運算，這正是 llama.cpp 最新版本改善的部分。
llama.cpp v0.7.0：MoE 專家 GPU 快取
llama.cpp 是在個人電腦與工作站上執行本地模型最常用的推論引擎之一，許多桌面 AI 工具都以它或其底層的 ggml 函式庫為基礎。過去在顯示記憶體不足時，常見做法是用 --cpu-moe 或 --n-cpu-moe 把 MoE 專家權重放在系統記憶體，代價是解碼速度大幅下降。
v0.7.0 新增的 --moe-cache-mib 參數，會在 GPU 上保留一塊以 LRU（最近最少使用）方式管理的快取：經常被選中的「熱門專家」常駐在顯示記憶體，只有快取未命中時才從系統記憶體上傳。由於每個 token 只會用到少數專家，依 PR 實測，快取大小約為專家權重總量的一成時，命中率可達 72%～96%。這項功能預設關閉，PR 作者建議快取大小約為專家權重總量的 10%。
以下是 PR #29887 作者公布的實測結果（平台為 AMD EPYC 7742 伺服器搭配 PCIe 4.0 x16，單一使用者；模型為 Qwen3.8-Flash-Next Q4_0，約 94GB，其中專家權重約 65GB；比較基準為 llama.cpp 預設的 --fit 自動配置）：
| GPU 與設定 | 解碼速度 | 提升幅度 | 快取命中率 |
|---|---|---|---|
RTX 4090，預設 --fit | 25.0 token/秒 | 基準 | — |
| RTX 4090，專家全放系統記憶體＋11GB 快取 | 40.7 token/秒 | 1.62 倍 | 77% |
RTX 5090，預設 --fit | 30.8 token/秒 | 基準 | — |
| RTX 5090，專家全放系統記憶體＋19GB 快取 | 67.8 token/秒 | 2.20 倍 | 89% |
隔天合併的 PR #30112 讓快取可以跨多張 GPU 分配，依 --tensor-split 的比例切分。在兩張 RTX 4090 的測試中，解碼速度提升 1.74～1.85 倍，命中率 85.9%～95.8%。
導入前有幾項限制需要留意：
- 只改善解碼階段：快取只處理 32 個 token 以內的批次，讀取長提示詞（prefill）仍走原本的路徑。多 GPU 測試中，提示詞處理速度反而降為原本的 0.73～0.91 倍，長文件摘要這類工作未必受惠。
- 效果取決於命中率：只有在專家權重放在系統記憶體時才有作用；命中率愈低，系統記憶體與 PCIe 的傳輸愈頻繁。
- 預設連接埠變更：v0.7.0 的
llama-server預設連接埠從 8080 改為 9931（Docker 映像檔內部仍為 8080）。升級後若既有系統連不上，應先檢查這一項。
v0.7.0 同時加入 LiliCorr 推測解碼（以小型草稿模型預測候選 token）、GLM5-Next 的 MTP 推測解碼，以及 Nemotron 3.5、MiniCPM-V 4.7 等新模型支援。
對 Mistral Large 4 這類超大型 MoE 模型而言，這代表另一種部署路線：以大容量系統記憶體存放全部專家，搭配一張大容量 GPU 作為快取與運算核心。以 Q4_K_M 估算，每個 token 約需讀取 310 億位元組（約 490 億啟用參數 × 每參數約 0.635 位元組）的權重；8 通道 DDR5-6400 的理論頻寬約每秒 410GB，在完全沒有快取的情況下，解碼速度的理論上限約每秒 13 個 token。GPU 快取命中的部分不需經過系統記憶體，實際速度取決於命中率、處理器與主機板平台，需以實機測試為準。
Claude Fable 5.2：速度提升 30%、價格調降 20%
Anthropic 在 11 月 9 日發表 Claude Fable 5.2 與 Claude Mythos 5.2。Fable 是 Anthropic 目前對一般使用者開放的最高階模型系列，6 月推出 Fable 5、9 月推出 5.1。依官方公告，5.2 的主要變化如下：
- 速度：輸出速度比 Fable 5.1 快最多 30%；另提供選用的快速模式，生成速度最多提升 2.5 倍。
- 價格：API 每百萬 token 輸入 8 美元、輸出 40 美元，低於 5.1 的 10 美元與 50 美元；快速模式為 16 美元與 80 美元。
- 規格：上下文 100 萬 token、單次最多輸出 12.8 萬 token，自適應思考固定開啟。
- 安全分類器：官方表示，在 claude.ai、Claude Code 與 Cowork 的初期測試中，被安全分類器攔截的情況比 5.1 減少約 55%。
官方公布的成績（與 Fable 5.1 比較）：
| 測試項目 | Fable 5.2 | Fable 5.1 |
|---|---|---|
| FrontierCode 2.0（AI 代理程式開發，Xhigh 推理強度） | 49.1% | 32.4% |
| FrontierSWE v2（軟體工程） | 69.9% | 56.3% |
| Humanity's Last Exam（跨領域推理，可使用工具） | 74.2% | 65.6% |
| RoboDojo Sim（模擬雙臂機器人控制） | 64.9% | 27.6% |
Fable 5.2 已開放 claude.ai 的 Pro、Max、Ultra、Team 與 Enterprise 方案使用，開發者可透過 Claude API（模型代號 claude-fable-5-2）、Amazon Bedrock、Google Cloud 與 Microsoft Foundry 存取。Mythos 5.2 在資安等領域放寬部分安全限制，僅開放給通過 Anthropic 驗證計畫的組織。
在資料落地方面，依 Anthropic 文件，Claude API 目前的推論地區選項只有「全球」與「僅限美國」兩種，尚無亞洲或台灣地區的選項；使用 Bedrock 或 Google Cloud 時，則依各平台的區域設定。Claude 系列模型目前只透過 Anthropic 與各雲端平台提供，沒有公開權重可供下載。
MAQ 編輯台的話
這三則消息放在一起看，呈現出兩條並行的路線。雲端最高階模型持續拉開能力差距，Fable 5.2 在程式開發與跨領域推理上的進步幅度明顯，價格也在下降；開放權重模型則在規模上追近，Mistral Large 4 以寬鬆授權釋出 1 兆參數權重，企業內部使用不需另簽商業授權。
對多數企業而言，選擇不必是二選一。對外公開資料的分析、需要最高推理能力的研發工作，適合交給雲端模型；涉及客戶資料、合約、財務等不宜離開公司的內容，則適合在內部部署開放權重模型。至於要部署多大的模型，關鍵在於記憶體：1 兆參數的 MoE 模型雖然每個 token 只啟用約 500 億參數，硬體規劃仍須以全部權重的大小為準。llama.cpp 的專家快取讓「大容量系統記憶體加一張大容量 GPU」成為可行選項，但速度取決於命中率與記憶體頻寬，採購前應以實際工作內容試跑。
多數日常工作，例如客服問答、內部文件查詢、資料整理，以 300 億參數以下的 MoE 模型搭配一至兩張 GPU 即可勝任，回應速度也快得多。兆級參數模型適合真正需要其能力上限的團隊，評估時應同時比較雲端 API 的長期費用與自建硬體的總持有成本。
資料來源：Mistral AI〈Mistral Large 4〉預覽公告與權重公告、Hugging Face mistralai/Mistral-Large-4-1T-A52B 模型卡與授權條款、Hugging Face 部落格〈mistral-large4〉；llama.cpp GitHub v0.7.0 發行說明、PR #29887、PR #30112；Anthropic〈Introducing Claude Fable 5.2 and Claude Mythos 5.2〉公告、Claude 開發者文件（Fable 5.2 模型概覽、資料落地）。檔案大小擷取自 Hugging Face mistralai、ggml-org 模型庫（2026 年 11 月 11 日）。Mistral、Claude、Anthropic、NVIDIA、RTX、Apple、Mac Studio 等為各自所有者之商標。