MAQ 本週為客戶組裝一台 AI 開發工作站,配備 AMD Ryzen 9 9950X3D2 處理器、128GB DDR5 記憶體與兩張 NVIDIA RTX PRO 4500 Blackwell 32GB 專業顯示卡。交機前,MAQ 以官網 AI 客服使用的同一套題組實測這台工作站,並與 maq.tw 目前提供 AI 客服的兩張 RTX 5070 Ti 主機比較。本文整理單人生成速度、多人同時提問、長文件問答與 AI 客服工具呼叫四項結果。
測試環境
- 處理器:AMD Ryzen 9 9950X3D2,16 核心 32 執行緒。
- 記憶體:128GB DDR5-5600(64GB × 2)。
- 顯示卡:兩張 NVIDIA RTX PRO 4500 Blackwell,每張 32GB 顯示記憶體,功耗上限 200W。
- 儲存:兩顆 Crucial T710 4TB PCIe 5.0 NVMe SSD,以 ZFS 鏡像組成系統碟;循序讀取約每秒 13.7GB、循序寫入約每秒 9.4GB。
- 軟體:Ubuntu 24.04.5 LTS、NVIDIA 驅動 620.70.06、CUDA 13.2;語言模型以 llama.cpp(2026 年 11 月 19 日版本)執行。
- 模型:Google Gemma 4 26B A4B(Google 官方 QAT q4_0 量化)與 Qwen3.6 35B A3B(Q4_K_M 量化),兩者皆為混合專家架構,上下文長度皆設為 262,144 token。
這台工作站的兩張顯示卡分工使用:第一張執行 NVIDIA Omniverse USD Composer 串流,之後也會用於影像生成;第二張專門執行語言模型。因此本文所有語言模型數據,都是單張 RTX PRO 4500 的結果。測試期間,第一張卡上的 Omniverse 服務持續運作。
比較對象是 maq.tw 目前的 AI 客服主機:兩張 GeForce RTX 5070 Ti 16GB,以 vLLM 張量並行執行 Gemma 4 26B(AWQ 4-bit 量化),上下文長度 65,536 token。測試時這台主機同時在服務線上客人。兩邊的推論引擎與量化格式不同,以下數據可作為硬體與軟體組合的整體參考。
單人生成速度
由一位使用者送出問題,回覆長度 512 token,約 300 至 400 個中文字。
| 配置 | 模型 | 每秒生成 |
|---|---|---|
| RTX PRO 4500 單張(llama.cpp) | Gemma 4 26B | 196 token |
| RTX PRO 4500 單張(llama.cpp) | Qwen3.6 35B | 183 token |
| 兩張 RTX 5070 Ti(vLLM 張量並行) | Gemma 4 26B | 170 token |
單張 RTX PRO 4500 執行 Gemma 4 26B,單人生成速度比兩張 RTX 5070 Ti 快約 15%,512 token 的回答約 2.6 秒完成。模型與 262,144 token 的完整上下文,在單張卡上分別使用約 21.3GB(Gemma 4)與 27.6GB(Qwen3.6)顯示記憶體,不需要拆到第二張卡。
多人同時提問
這台工作站的 llama.cpp 設定為一次處理一個請求,讓每個請求都能使用完整的 262,144 token 上下文。多人同時提問時,其餘請求依序排隊。測試讓 1、4、8 位使用者同時送出問題,每則回覆 256 token。
| 同時提問人數 | RTX PRO 4500 整體吞吐量 | 最後一人等到第一個字 | 兩張 RTX 5070 Ti 整體吞吐量 |
|---|---|---|---|
| 1 人 | 每秒 184 token | 0.1 秒 | 每秒 166 token |
| 4 人 | 每秒 189 token | 4.1 秒 | 每秒 523 token |
| 8 人 | 每秒 193 token | 9.3 秒 | 每秒 950 token |
vLLM 會把同時進來的請求合併批次處理:GPU 每讀取一次模型權重,同時為多個請求各生成一個 token,因此 8 人同時提問時,整體吞吐量約為單人的 5.7 倍,每個人都在 0.1 秒內看到第一個字。這台工作站的設定以單人使用與長文件為優先,同時提問的人越多,後面的人等待越久。
llama.cpp 也可以開啟多個並行處理槽,但上下文會平均分配:262,144 token 開 4 個並行,每個請求只剩 65,536 token。若主要用途是多位同仁或客人同時使用的 AI 客服,建議採用 vLLM 這類支援批次處理的推論引擎;若主要用途是開發、文件分析或少數人使用,一次處理一個請求、保留完整上下文的設定較合適。
長文件問答
測試文件由 MAQ 部落格的文章全文串接而成,並在文件中段插入一句原本不存在的附註(一台測試機的保管編號與存放位置),請模型找出這句附註並說明出自哪篇文章。每次測試前都更換提示詞開頭,避免沿用前一次的快取。
| 文件長度 | Gemma 4 26B | Qwen3.6 35B | 結果 |
|---|---|---|---|
| 約 6.1 萬字元(17 篇文章) | 3.8 萬 token,8.2 秒 | 3.6 萬 token,7.2 秒 | 兩者皆正確 |
| 約 23.1 萬字元(55 篇文章) | 14.7 萬 token,59.3 秒 | 13.9 萬 token,39.7 秒 | 兩者皆正確 |
兩個模型都正確回答保管編號、存放位置與所在文章。同一份文件,Qwen3.6 切出的 token 數較少,讀取速度也較快。兩張 RTX 5070 Ti 主機讀取 3.8 萬 token 的文件需要 7.2 秒,與 RTX PRO 4500 相近;但該主機的上下文上限設為 65,536 token,14.7 萬 token 的文件無法一次讀入。單張 32GB 顯示卡可以放下完整 262,144 token 的上下文,是這台工作站在文件分析上的主要優勢。
AI 客服工具呼叫
AI 客服不只要回答得快,還要在正確時機呼叫查詢工具,並且只根據工具傳回的資料回答。MAQ 使用兩套實際上線的題組測試:
- maq.tw 官網 AI 客服:7 個工具(機型報價、推薦配置、訂購連結、零件選項、配置報價、常見問題、轉接專人),8 道題目。
- 民宿訂房 AI 客服(kei.cafe):查詢空房、包棟方案、設施、宜蘭活動與轉接專人等工具,8 道題目,題目使用 12 月的實際房況。
兩套題組都使用正式上線的系統提示詞與工具定義,查詢工具讀取實際資料但不寫入任何資料、不發送通知。RTX PRO 4500 的每組結果各測 3 次。
| 題組 | Gemma 4 26B(RTX PRO 4500) | Qwen3.6 35B(RTX PRO 4500) | Gemma 4 26B(兩張 RTX 5070 Ti) |
|---|---|---|---|
| 官網 AI 客服 | 7/8、7/8、8/8 | 7/8、7/8、7/8 | 8/8 |
| 民宿訂房客服 | 3/8、3/8、4/8 | 3/8、2/8、2/8 | 7/8 |
官網客服題組兩邊表現接近。民宿訂房題組的差距較大:在 RTX PRO 4500 的 llama.cpp 環境中,兩個模型多次沒有呼叫查詢工具就直接回答,其中包含工具並未傳回的房價,或把轉接專人寫成一段文字,而沒有實際觸發轉接。兩張 RTX 5070 Ti 主機在同一天、同一套題目下通過 7 題。
兩邊都是 Gemma 4 26B,差異來自推論引擎的對話範本、工具呼叫處理與量化格式,本次測試沒有再拆開比較各項因素。另外,兩套題組預設關閉模型的思考過程以縮短回應時間;在 RTX PRO 4500 上開啟思考過程後,Gemma 4 的民宿題組提升到 5/8,但 8 道題的總時間從 10 至 19 秒增加到 46 至 55 秒。
MAQ 內部使用的後台 AI 助理題組(11 個 ERP 查詢工具)需要讀取 MAQ 的銷售與進貨資料,這台是客戶的工作站,因此本次沒有執行。
MAQ 編輯台的話
單張 RTX PRO 4500 Blackwell 的 32GB 顯示記憶體,足以讓 26B 至 35B 級的混合專家模型搭配完整的 26 萬 token 上下文執行,單人生成速度約每秒 180 至 200 個 token。對於開發測試、長篇文件分析與少數人使用的內部助理,這樣的速度與上下文長度已經相當充裕;另一張顯示卡則可以同時處理 3D 串流或影像生成,互不佔用。
規劃多人同時使用的 AI 客服時,推論引擎的選擇與顯示卡同樣重要。同一個模型在不同推論引擎下,同時服務的人數與工具呼叫的可靠度都可能有明顯差異。建議上線前,以實際的提示詞、工具與資料,在正式要使用的推論引擎上完整測試,而不是只看單人生成速度。
資料來源:MAQ 實測(2026 年 11 月 19 日);兩張 RTX 5070 Ti 主機的官網客服題組為 2026 年 11 月 18 日實測,其餘比較數據為 11 月 19 日實測。儲存效能由 MAQ 工程師交機前量測。NVIDIA、RTX、Omniverse 為 NVIDIA Corporation 的商標;AMD、Ryzen 為 Advanced Micro Devices, Inc. 的商標;Gemma 為 Google LLC 的商標;Qwen 為阿里雲的商標;Crucial 為 Micron Technology, Inc. 的商標;其他產品名稱為各公司的商標。