硬體選購

RTX PRO 4500 Blackwell 實測:單張 32GB 顯示卡執行 Gemma 4 與 Qwen3.6 的 AI 客服與長文件效能

2026-11-19 | 約 8 分鐘 | MAQ 技術團隊

MAQ 本週為客戶組裝一台 AI 開發工作站,配備 AMD Ryzen 9 9950X3D2 處理器、128GB DDR5 記憶體與兩張 NVIDIA RTX PRO 4500 Blackwell 32GB 專業顯示卡。交機前,MAQ 以官網 AI 客服使用的同一套題組實測這台工作站,並與 maq.tw 目前提供 AI 客服的兩張 RTX 5070 Ti 主機比較。本文整理單人生成速度、多人同時提問、長文件問答與 AI 客服工具呼叫四項結果。

測試環境

  • 處理器:AMD Ryzen 9 9950X3D2,16 核心 32 執行緒。
  • 記憶體:128GB DDR5-5600(64GB × 2)。
  • 顯示卡:兩張 NVIDIA RTX PRO 4500 Blackwell,每張 32GB 顯示記憶體,功耗上限 200W。
  • 儲存:兩顆 Crucial T710 4TB PCIe 5.0 NVMe SSD,以 ZFS 鏡像組成系統碟;循序讀取約每秒 13.7GB、循序寫入約每秒 9.4GB。
  • 軟體:Ubuntu 24.04.5 LTS、NVIDIA 驅動 620.70.06、CUDA 13.2;語言模型以 llama.cpp(2026 年 11 月 19 日版本)執行。
  • 模型:Google Gemma 4 26B A4B(Google 官方 QAT q4_0 量化)與 Qwen3.6 35B A3B(Q4_K_M 量化),兩者皆為混合專家架構,上下文長度皆設為 262,144 token。

這台工作站的兩張顯示卡分工使用:第一張執行 NVIDIA Omniverse USD Composer 串流,之後也會用於影像生成;第二張專門執行語言模型。因此本文所有語言模型數據,都是單張 RTX PRO 4500 的結果。測試期間,第一張卡上的 Omniverse 服務持續運作。

比較對象是 maq.tw 目前的 AI 客服主機:兩張 GeForce RTX 5070 Ti 16GB,以 vLLM 張量並行執行 Gemma 4 26B(AWQ 4-bit 量化),上下文長度 65,536 token。測試時這台主機同時在服務線上客人。兩邊的推論引擎與量化格式不同,以下數據可作為硬體與軟體組合的整體參考。

單人生成速度

由一位使用者送出問題,回覆長度 512 token,約 300 至 400 個中文字。

配置模型每秒生成
RTX PRO 4500 單張(llama.cpp)Gemma 4 26B196 token
RTX PRO 4500 單張(llama.cpp)Qwen3.6 35B183 token
兩張 RTX 5070 Ti(vLLM 張量並行)Gemma 4 26B170 token

單張 RTX PRO 4500 執行 Gemma 4 26B,單人生成速度比兩張 RTX 5070 Ti 快約 15%,512 token 的回答約 2.6 秒完成。模型與 262,144 token 的完整上下文,在單張卡上分別使用約 21.3GB(Gemma 4)與 27.6GB(Qwen3.6)顯示記憶體,不需要拆到第二張卡。

多人同時提問

這台工作站的 llama.cpp 設定為一次處理一個請求,讓每個請求都能使用完整的 262,144 token 上下文。多人同時提問時,其餘請求依序排隊。測試讓 1、4、8 位使用者同時送出問題,每則回覆 256 token。

同時提問人數RTX PRO 4500 整體吞吐量最後一人等到第一個字兩張 RTX 5070 Ti 整體吞吐量
1 人每秒 184 token0.1 秒每秒 166 token
4 人每秒 189 token4.1 秒每秒 523 token
8 人每秒 193 token9.3 秒每秒 950 token

vLLM 會把同時進來的請求合併批次處理:GPU 每讀取一次模型權重,同時為多個請求各生成一個 token,因此 8 人同時提問時,整體吞吐量約為單人的 5.7 倍,每個人都在 0.1 秒內看到第一個字。這台工作站的設定以單人使用與長文件為優先,同時提問的人越多,後面的人等待越久。

llama.cpp 也可以開啟多個並行處理槽,但上下文會平均分配:262,144 token 開 4 個並行,每個請求只剩 65,536 token。若主要用途是多位同仁或客人同時使用的 AI 客服,建議採用 vLLM 這類支援批次處理的推論引擎;若主要用途是開發、文件分析或少數人使用,一次處理一個請求、保留完整上下文的設定較合適。

長文件問答

測試文件由 MAQ 部落格的文章全文串接而成,並在文件中段插入一句原本不存在的附註(一台測試機的保管編號與存放位置),請模型找出這句附註並說明出自哪篇文章。每次測試前都更換提示詞開頭,避免沿用前一次的快取。

文件長度Gemma 4 26BQwen3.6 35B結果
約 6.1 萬字元(17 篇文章)3.8 萬 token,8.2 秒3.6 萬 token,7.2 秒兩者皆正確
約 23.1 萬字元(55 篇文章)14.7 萬 token,59.3 秒13.9 萬 token,39.7 秒兩者皆正確

兩個模型都正確回答保管編號、存放位置與所在文章。同一份文件,Qwen3.6 切出的 token 數較少,讀取速度也較快。兩張 RTX 5070 Ti 主機讀取 3.8 萬 token 的文件需要 7.2 秒,與 RTX PRO 4500 相近;但該主機的上下文上限設為 65,536 token,14.7 萬 token 的文件無法一次讀入。單張 32GB 顯示卡可以放下完整 262,144 token 的上下文,是這台工作站在文件分析上的主要優勢。

AI 客服工具呼叫

AI 客服不只要回答得快,還要在正確時機呼叫查詢工具,並且只根據工具傳回的資料回答。MAQ 使用兩套實際上線的題組測試:

  • maq.tw 官網 AI 客服:7 個工具(機型報價、推薦配置、訂購連結、零件選項、配置報價、常見問題、轉接專人),8 道題目。
  • 民宿訂房 AI 客服(kei.cafe):查詢空房、包棟方案、設施、宜蘭活動與轉接專人等工具,8 道題目,題目使用 12 月的實際房況。

兩套題組都使用正式上線的系統提示詞與工具定義,查詢工具讀取實際資料但不寫入任何資料、不發送通知。RTX PRO 4500 的每組結果各測 3 次。

題組Gemma 4 26B(RTX PRO 4500)Qwen3.6 35B(RTX PRO 4500)Gemma 4 26B(兩張 RTX 5070 Ti)
官網 AI 客服7/8、7/8、8/87/8、7/8、7/88/8
民宿訂房客服3/8、3/8、4/83/8、2/8、2/87/8

官網客服題組兩邊表現接近。民宿訂房題組的差距較大:在 RTX PRO 4500 的 llama.cpp 環境中,兩個模型多次沒有呼叫查詢工具就直接回答,其中包含工具並未傳回的房價,或把轉接專人寫成一段文字,而沒有實際觸發轉接。兩張 RTX 5070 Ti 主機在同一天、同一套題目下通過 7 題。

兩邊都是 Gemma 4 26B,差異來自推論引擎的對話範本、工具呼叫處理與量化格式,本次測試沒有再拆開比較各項因素。另外,兩套題組預設關閉模型的思考過程以縮短回應時間;在 RTX PRO 4500 上開啟思考過程後,Gemma 4 的民宿題組提升到 5/8,但 8 道題的總時間從 10 至 19 秒增加到 46 至 55 秒。

MAQ 內部使用的後台 AI 助理題組(11 個 ERP 查詢工具)需要讀取 MAQ 的銷售與進貨資料,這台是客戶的工作站,因此本次沒有執行。

MAQ 編輯台的話

單張 RTX PRO 4500 Blackwell 的 32GB 顯示記憶體,足以讓 26B 至 35B 級的混合專家模型搭配完整的 26 萬 token 上下文執行,單人生成速度約每秒 180 至 200 個 token。對於開發測試、長篇文件分析與少數人使用的內部助理,這樣的速度與上下文長度已經相當充裕;另一張顯示卡則可以同時處理 3D 串流或影像生成,互不佔用。

規劃多人同時使用的 AI 客服時,推論引擎的選擇與顯示卡同樣重要。同一個模型在不同推論引擎下,同時服務的人數與工具呼叫的可靠度都可能有明顯差異。建議上線前,以實際的提示詞、工具與資料,在正式要使用的推論引擎上完整測試,而不是只看單人生成速度。

資料來源:MAQ 實測(2026 年 11 月 19 日);兩張 RTX 5070 Ti 主機的官網客服題組為 2026 年 11 月 18 日實測,其餘比較數據為 11 月 19 日實測。儲存效能由 MAQ 工程師交機前量測。NVIDIA、RTX、Omniverse 為 NVIDIA Corporation 的商標;AMD、Ryzen 為 Advanced Micro Devices, Inc. 的商標;Gemma 為 Google LLC 的商標;Qwen 為阿里雲的商標;Crucial 為 Micron Technology, Inc. 的商標;其他產品名稱為各公司的商標。

分享這篇文章
訂閱 RSS

常見問題

單張 RTX PRO 4500 可以執行哪些大型語言模型?

實測可在單張 32GB 顯示卡上執行 4-bit 量化的 Gemma 4 26B 與 Qwen3.6 35B,搭配 262,144 token 的完整上下文,分別使用約 21.3GB 與 27.6GB 顯示記憶體,單人生成速度約每秒 196 與 183 個 token。

RTX PRO 4500 讀取長文件需要多久?

以 Gemma 4 26B 實測,3.8 萬 token 的文件約 8.2 秒、14.7 萬 token 的文件約 59.3 秒讀完並正確回答;Qwen3.6 35B 讀取 13.9 萬 token 的文件約 39.7 秒。

多人同時使用時,RTX PRO 4500 的表現如何?

本次測試的 llama.cpp 設定為一次處理一個請求,以保留完整上下文,多人同時提問時依序排隊,8 人同時提問時最後一人約 9.3 秒才看到第一個字。多人同時使用的 AI 客服,建議改用 vLLM 這類支援批次處理的推論引擎。

為什麼同一個模型在不同主機的 AI 客服測驗結果不同?

兩台主機的推論引擎、對話範本、工具呼叫處理與量化格式都不同。在民宿訂房題組中,llama.cpp 環境的 Gemma 4 多次未呼叫查詢工具就直接回答,vLLM 環境則通過 7/8 題。AI 客服上線前,建議以實際的提示詞、工具與資料,在正式使用的推論引擎上完整測試。

單張 RTX PRO 4500 與兩張 RTX 5070 Ti 該如何選擇?

單張 RTX PRO 4500 的單人生成速度約快 15%,並以單張 32GB 放下模型與 26 萬 token 上下文,適合長文件分析與開發測試,另一張卡可同時執行 3D 或影像工作;兩張 RTX 5070 Ti 搭配 vLLM 張量並行,在多人同時提問時的整體吞吐量較高,適合 AI 客服。

在公司內部建置 AI 開發與文件分析工作站

MAQ AI 工作站可依用途配置 RTX PRO 專業顯示卡或多張 GeForce 顯示卡,交機前完成推論環境安裝與實測。