自 2026 年 10 月 16 日起，maq.tw 網站上的 AI 客服改由一台配備兩張 NVIDIA GeForce RTX 5070 Ti 的主機回答。這台主機的顯示卡組合，與 MAQ 目前主推的 gemma4-26b LLM 伺服器相同：兩張 16GB 顯示卡，合計 32GB 顯示記憶體。本文整理這台主機在 AI 客服、AI ERP 與 AI RAG 文件問答三種情境的實測數據。
測試環境
- 顯示卡：兩張 NVIDIA GeForce RTX 5070 Ti 16GB，各以 PCIe 5.0 x8 連接。
- 模型：Google Gemma 4 26B（混合專家架構，總參數 252 億、每次啟用 38 億，Apache 2.0 授權），Q4_K_M 量化。模型分散在兩張卡上，分別使用約 12.7GB 與 11.9GB 顯示記憶體，全部在 GPU 上執行。
- 執行環境：Ollama 0.40.4，上下文長度 64K token，最多同時處理 4 個請求。
- 主機：Proxmox 虛擬機器，配置 8 個 CPU 核心與 48GB 記憶體。處理器與記憶體規格和 AI-Medium-Gemma 標準配置不同，但大型語言模型推論主要由 GPU 負責，以下數據可作為同級顯示卡組合的參考。
以同一個模型、同一段提示詞比較，這台主機的單人生成速度約每秒 165 個 token；MAQ 先前使用的單張 AMD Radeon AI PRO R9700 32GB 主機約每秒 91 個 token。
兩張 GPU 如何分工
Ollama 將模型的各層依序分配到兩張顯示卡：前半段在第一張卡，後半段在第二張卡。每生成一個 token，運算都會依序經過兩張卡，因此處理同一個請求時，兩張卡是輪流運作，而不是同時運作，單一回答的速度不會因為多了一張卡而加倍。
兩張卡的主要價值在於顯示記憶體容量。Gemma 4 26B 的模型檔約 17GB，單張 16GB 的顯示卡無法容納；兩張合計 32GB，才能同時放下模型、64K token 的上下文，以及 4 個請求同時處理所需的工作記憶體（KV cache）。
多人同時提問時，吞吐量的提升主要來自批次處理：GPU 每讀取一次模型權重，就同時為多個請求各生成一個 token。兩張卡提供的記憶體空間，讓 4 個請求可以同時進行，因此 4 人同時提問的整體吞吐量約為單人時的 2.5 倍；超過 4 人後，其餘請求依序排隊。
若要讓兩張卡同時運算同一個請求，需改用支援張量並行（tensor parallelism）的推論引擎，例如 vLLM。本文後段另有 vLLM 張量並行的實測結果。
情境一：AI 客服伺服器
客服的關鍵在於多人同時提問時的回應時間。測試讓多位使用者同時送出問題，每則回覆生成 512 個 token，約 300 至 400 個中文字。
| 同時提問人數 | 每人生成速度 | 整體吞吐量 | 全部回覆完成 |
|---|---|---|---|
| 1 人 | 每秒 166 token | 每秒 163 token | 2.9 秒 |
| 2 人 | 每秒 145 token | 每秒 270 token | 3.4 秒 |
| 4 人 | 每秒 107 token | 每秒 401 token | 4.6 秒 |
| 8 人 | 每秒 104 token | 每秒 395 token | 9.4 秒 |
| 16 人 | 每秒 100 token | 每秒 382 token | 19.3 秒 |
4 人同時提問時，整體吞吐量達到每秒約 400 token；超過 4 人後，系統依序排隊處理，每則回覆的生成速度仍維持在每秒約 100 token，閱讀時不會感到停頓。實際客服對話中，訪客通常在閱讀與輸入之間交替，同時送出問題的人數遠少於線上人數。
maq.tw 的 AI 客服在回答前會呼叫多種工具，包括查詢機型報價、推薦配置、查詢可更換的零件、搜尋常見問題與轉接真人客服。以 8 道涵蓋上述工具的測試題計算，這台主機全部完成約需 18 秒，平均每題約 2.3 秒；同一組題目在 R9700 主機上約需 42 秒。
情境二：AI ERP 伺服器
MAQ 內部的 ERP 系統整合了 AI 助理，員工以自然語言提問，AI 自行查詢客戶、銷售、庫存與進貨資料後作答，例如「2025 年全公司總交易額是多少」或「某品項目前還有幾台庫存」。測試涵蓋 11 種查詢工具與 1 道不需要查詢的題目，共 12 題。
- 工具選擇：12 題全部選對查詢工具。
- 回應時間：12 題共 57 秒。單一查詢約 1.2 至 6 秒，需要連續查詢兩次的題目約 9 至 15 秒。同一組題目在 R9700 主機上共需 90 秒。
- 資料品質：其中一題因 ERP 內的品名欄位記錄不完整而答錯，兩台主機的結果相同，屬於資料問題，與硬體無關。導入 AI ERP 時，資料欄位是否完整，與硬體效能同樣重要。
所有資料都在公司內部的伺服器上處理，客戶名單、交易金額與進貨價格不會傳送到外部的雲端服務。
情境三：AI RAG 文件問答伺服器
RAG（檢索增強生成）會先從公司文件中找出相關段落，再交給模型閱讀後回答。段落越多，模型需要讀取的內容越長。測試以 MAQ 部落格的文章作為公司文件，在文件 60% 的位置插入一句測試用的資訊，再請模型找出這項資訊。
| 文件長度 | 讀取時間 | 回答完成 | 找到指定資訊 |
|---|---|---|---|
| 約 5,000 字（2,748 token） | 0.4 秒 | 0.9 秒 | 正確 |
| 約 2 萬字（12,734 token） | 1.2 秒 | 1.6 秒 | 正確 |
| 約 4.2 萬字（25,860 token） | 2.6 秒 | 3.0 秒 | 正確 |
| 約 8 萬字（50,180 token） | 5.8 秒 | 6.5 秒 | 正確 |
模型讀取文件的速度約每秒 8,600 至 10,400 個 token。多人同時查詢時：
- 4 人同時各查詢一份約 2 萬字的文件，最慢的一位在 10.4 秒內完成，4 人皆正確找到指定資訊。
- 4 人同時各查詢一份約 4.2 萬字的文件，最慢的一位在 15.5 秒內完成，4 人皆正確找到指定資訊。
本測試著重於模型閱讀長文件的速度與準確度。完整的 RAG 系統另需建立文件索引與向量檢索，這部分的運算量較小，通常不是效能瓶頸。
改用 vLLM 張量並行：多人同時使用的效能
張量並行會把模型的每一層切成兩半，由兩張顯示卡同時運算，再交換計算結果。MAQ 在同一台主機上改用 vLLM 0.31.0 以張量並行執行 Gemma 4 26B，並以相同的題目與 Ollama 比較。
| 測試項目 | Ollama | vLLM 張量並行 |
|---|---|---|
| 單人生成速度 | 每秒 165 token | 每秒 200 token |
| 16 人同時提問，每人 512 token | 19.3 秒全部完成 | 4.8 秒全部完成，整體每秒 1,709 token |
| 8 位客人同時查詢民宿空房與報價，共 64 題 | 96 秒全部完成，最慢一題 26.9 秒 | 20 秒全部完成，最慢一題 7.4 秒 |
| AI ERP 查詢 12 題 | 57 秒，12 題選對工具 | 29.6 秒，12 題選對工具 |
| AI 客服查價與配置 8 題 | 18 秒，7 題正確 | 14.6 秒，8 題全部正確 |
民宿空房與報價的測試，使用 MAQ 為宜蘭民宿建置的訂房 AI 客服，採用正式的系統提示詞與查詢工具，題目涵蓋指定民宿查房、跨民宿找空房、包棟報價、設施與當地活動。所有回覆中的金額都經過比對，皆來自工具查到的資料，沒有模型自行編造的價格；8 位客人同時提問時，答題正確率與單人提問時相同。
多人同時使用時差距明顯，原因有二：
- 張量並行：兩張卡同時運算，單人生成速度提升約 3 成。以同一個 vLLM 改用分層輪流的方式對照，單人每秒 151 token、16 人整體每秒 1,326 token，張量並行分別再快 33% 與 29%。
- 排程方式：vLLM 可同時處理 16 個請求，並隨時將新請求加入運算；Ollama 本次設定為同時處理 4 個，其餘排隊。
張量並行也有代價。GeForce 顯示卡之間不支援直接傳輸（P2P），兩張卡交換計算結果時需經由主機記憶體。一般對話的影響不大，但單人讀取超長文件時資料交換量大：5 萬 token 的文件，vLLM 需 8.2 秒，Ollama 為 6.5 秒；4 人同時各讀取約 2.6 萬 token 的文件時，vLLM 最慢 13.6 秒，仍快於 Ollama 的 15.5 秒。
本項測試的 vLLM 使用社群提供的 AWQ 4-bit 量化版本，與 Ollama 使用的 Q4_K_M 量化版本不同。maq.tw 的 AI 客服目前仍以 Ollama 執行。
功耗與溫度
- 一般生成：每張顯示卡約 140 至 170W，溫度不超過 66°C。
- 讀取長文件：每張顯示卡短時間達到約 300W 的額定功耗上限，最高溫度 72°C。
兩張 RTX 5070 Ti 的額定功耗合計 600W，整機電源需預留足夠餘裕；MAQ 出貨的配置已依此規劃電源與散熱。
RTX 5060 Ti 版本
gemma4-26b LLM 模型採用兩張 RTX 5060 Ti 16GB，同樣合計 32GB 顯示記憶體，可以執行同一個 Gemma 4 26B 模型。兩者的主要差異在記憶體頻寬：依 NVIDIA 公布的規格，RTX 5070 Ti 為 896 GB/s，RTX 5060 Ti 為 448 GB/s。大型語言模型的生成速度與記憶體頻寬密切相關，因此 RTX 5060 Ti 版本的生成速度會低於本文數據；額定功耗則由每張 300W 降為 180W。RTX 5060 Ti 16GB 採用 PCIe 5.0 x8 介面，在兩張顯示卡各分配 8 條通道的主機板上，可以完整發揮頻寬。RTX 5060 Ti 版本的實測數據將另行公布。
適合的用途
- AI 客服伺服器：網站或 LINE 客服，搭配報價、查詢空房、常見問題與轉接真人等工具。改用 vLLM 時，8 位客人同時提問，每位客人最慢 7.4 秒即可得到附報價的回覆。
- AI ERP 伺服器：以自然語言查詢客戶、銷售、庫存與進貨資料，資料留在公司內部。
- AI RAG 文件問答伺服器：內部規章、產品手冊與技術文件的問答，單次可閱讀數萬字的內容。
兩張 16GB 顯示卡合計 32GB，適合 Gemma 4 26B 這類混合專家架構的模型。若需要執行 700 億參數以上的大型模型，或進行模型訓練，建議選擇顯示記憶體更大的配置。
測試日期：2026 年 10 月 16 日，MAQ 自家主機實測。模型規格依 Hugging Face google/gemma-4-26B-A4B 模型卡；顯示卡規格依 NVIDIA 官方網站與 ZOTAC 產品規格頁。實際效能依提示詞長度、回覆長度、同時使用人數與軟體版本而異。NVIDIA、GeForce、RTX 為 NVIDIA 公司商標；Gemma 為 Google LLC 商標；AMD、Radeon 為 Advanced Micro Devices 商標。