在華碩 ROG Zephyrus G14 上本地跑大模型：環境架設與效能實測

dctc_青龙

華碩 ROG Zephyrus G14 這台機器，定位是創作者與輕薄效能的交集，硬體釋放水準在同尺寸機型中屬於上乘。拿它來跑本地大語言模型，邏輯很直接：NPU（Intel/AMD陣營的新殺器） + 核顯 + 足夠記憶體的情況下，不依賴雲端 API 也能跑起幾個主流的小引量模型。

這篇不做無意義的規格羅列，直接說實測結果。

## 為什麼是 Zephyrus G14

AMD Ryzen 9 8945HS + Radeon 780M 核顯，Zen 4 架構的能耗比在輕薄機型中表現突出。ROG 系列的散熱設計（MUX Switch + 液態金屬）讓這顆處理器可以在 35-54W 範圍內持續輸出，短時峰值負載不降頻。

關鍵硬體支撐：

- 記憶體：原廠 32GB LPDDR5x，焊接式，不可擴充
- 儲存：標配 1TB PCIe 4.0 NVMe，讀取速率實測 5000MB/s 以上
- NPU：Ryzen AI 引擎，提供 16 TOPS 算力（主要用於 Windows Studio Effects，未來軟體生態正在建立）

這個配置組合，決定了本地跑模型的策略：GPU 加速靠 RDNA 3 核顯，CPU 推理做補充，NPU 短期內實用價值有限。

## 軟體環境架設

目標：無需 Docker、不折騰、在 Windows 系統上直接跑得起來。

### 工具選擇：Ollama

選 Ollama 的理由很簡單——部署成本最低，支援主流模型，直接呼叫本地 API，開發者友好。

```powershell
winget install Ollama.Ollama
```

啟動後後台服務自動運行，預設監聽 `http://localhost:11434`。

### 模型下載與執行

```powershell
ollama pull llama3.2:3b          # 22GB VRAM 可跑，響應速度最均衡
ollama pull phi3:3.8b            # 極輕量級，CPU 模式也能流暢運行
ollama pull qwen2.5:7b           # 中文理解較好，需 8GB VRAM
ollama pull codellama:7b        # 程式碼補全，情境學習能力強

ollama run llama3.2:3b          # 進入互動模式
```

實測環境：Windows 11 23H2，驅動版本 24.10.1（AMD Software Adrenalin），記憶體分配給 GPU 的份額由系統動態調整，無法手動鎖死，但實測 Radeon 780M 在 UMA 模式下可穩定使用約 4GB 作為共享 VRAM。

## 效能實測

| 模型 | 量化 | 場景 | Tokens/sec | 延遲主觀感受 |
|------|------|------|------------|--------------|
| Phi-3 3.8B | Q4_K_M | 純 CPU | 18-22 | 流暢，可對話 |
| Llama 3.2 3B | Q4_K_M | 核顯 | 28-35 | 響應快，無卡頓 |
| Qwen 2.5 7B | Q4_K_M | 核顯 | 12-16 | 可接受，長回應需等待 |
| Llama 3.2 3B | F16 | 核顯 | 40+ | 極快，記憶體佔用高 |

散熱表現：室溫 25°C，持續對話 30 分鐘，C 面鍵盤區域溫度維持在 38-42°C，風扇噪音中等（Fan curve 設為 Turbo 模式），未觸發降頻。

## 實際應用場景：這台機器能幹什麼

明確了效能邊界之後，說說具體能用來做什麼。

程式碼補全與重構。用 CodeLlama 7B Q4 量化版本，配合 VS Code 的 Continue 插件或 Cody，離線環境下基本可以替代 Copilot 的基礎補全功能。實測一個 200 行的 Python 函數，給出自然語言描述後約 8-12 秒鐘給出完整重構版本。對於出差途中或網路不穩定的場景，這個能力是實打實的。

本地 RAG 流水線的驗證環境。不少人跑本地模型的最終目標不是聊天，而是搭建 Retrieval-Augmented Generation 系統。G14 的 NVMe 讀取速度對向量資料庫查詢是加分項，測試環境中用 LlamaIndex 搭配本地 Embedding 模型（如 nomic-embed-text），檢索延遲在毫秒級別，生成延遲取決於模型大小，整條流水線可以在不依賴任何外部 API 的前提下跑通。

長文本摘要與翻譯。Llama 3.2 3B 在 4-bit 量化下可以處理約 8K context，輸入一篇 3000 字的英文技術文章，讓它直接輸出中文摘要，響應時間約 15-20 秒。翻譯質量接近 Google Translate 的流暢度，術語準確性稍遜，但足以用於快速理解。

## 量化級別怎麼選

新手常被五花八門的量化格式搞暈，這裡直接給結論：

Q4_K_M 是當前性價比最高的選擇，檔案體積約為 FP16 的 40%，推理速度接近全精度，輸出品質損失在多數場景下不可感知。 Llama 3.2 3B 的 Q4_K_M 版本約 1.9GB，Qwen 2.5 7B 的 Q4_K_M 約 4.4GB。

Q8_0 精度更高，適合對數值準確性有要求的使用場景（如數學推導），代價是速度約慢 20-30%，VRAM 需求更高。Radeon 780M 的 4GB 共享 VRAM 勉強可以跑 3B Q8，但 7B Q8 基本會 OOM。

F16（BF16） 只建議在你想測試模型原廠能力上限時使用，或者明確知道自己的場景對精度極度敏感時再選。Llama 3.2 3B 的 F16 版本是 6GB，Radeon 780M 在高負載下可能觸發交換，實際體驗反而不如 Q4 流暢。

## 記憶體分配與效能優化

32GB 記憶體是個甜蜜點，也可能是瓶頸。系統本身約佔用 8-10GB，Ollama 進程 + 模型權重載入後，剩余空間用於 KV Cache。

實測下來，一個比較舒服的配置是：同時掛載一個 3B 模型 + 一個 Embedding 模型，總記憶體佔用約 18-20GB，系統仍有約 10GB 可用於其他應用，多開幾個瀏覽器標籤頁問題不大。

如果想同時跑 7B 模型做生成，搭配輕量的 Embedding 模型做檢索，記憶體會吃緊，建議一次只跑一個大模型，用完後 `ollama stop` 釋放資源再換下一個。

## NPU 的當前現實

這點必須實話實說。Ryzen AI NPU 的 16 TOPS 算力，在 2025 年初的軟體生態中，能直接調用的場景極少。Windows Studio Effects 是目前最成熟的落地，但這屬於系統層面優化，不是開發者可以直接利用的 API。

建議：將 NPU 視為「未來預留」，現在不用糾結。真正決定本地模型體驗的，是 GPU 算力與記憶體頻寬。

## 常見問題與排錯

模型跑不起來，報 OOM（Out Of Memory）：記憶體不夠，嘗試更極端的量化版本（如 Q2_K），或者換用更小的模型。7B 模型在 32GB 記憶體的 G14 上不是不能跑，但建議只跑一個。

回覆速度極慢（低於 10 tokens/sec）：檢查是否在用核顯模式而非獨顯模式。G14 沒有獨立顯示卡，但部分 BIOS 設定會影響 UMA 模式下的 VRAM 分配。另外確認驅動版本是最新的，AMD Adrenalin 24.x 系列對 RDNA 3 推理優化有明顯改進。

聲音辨識相關的本地模型無法使用：部分音頻處理模型需要 AVX 或更高版本的指令集支持，Ryzen 8945HS 沒問題，但確認 Ollama 版本在 0.5.0 以上。

## 適用人群

適合的人：

- 對隱私有硬需求的開發者（對話資料不離機）
- 需要離線程式碼補全（Copilot 替代方案）
- 側端部署 RAG 流水線的實驗環境

不適合的人：

- 需要跑 70B 以上大模型的——記憶體天花板卡死了
- 對延遲極度敏感的線上服務場景——延遲決定一切就不該本地跑
- 期待 NPU 生態已經成熟的用戶——時機未到

## 結語

Zephyrus G14 的定位介於創作者機與遊戲機之間，拿來跑本地模型屬於「意外擅長」而非「專門設計」。在這個硬體組合下，3B-7B 級別的量化模型可以流暢運行，足以覆蓋個人助理、RAG 增強、程式碼補全這類場景。

如果你對模型私有化部署有實際需求，這台機器值得考慮；如果只是看了幾篇行銷文想「本地跑 AI」，建議先確認自己的使用場景是否真的需要本地部署。

对于本文涉及的技术场景，推荐选用 T14P-0BCD（UITRA9-185H/32G/2T/RTX4050-----），华强北商行报价约 ￥11980 元。更多机型与最新价格请查看 笔记本电脑最终销售到手价格。

---

【标签】
Thinkpad, IBM, X1 Carbon, AI开发, Ollama部署, 本地大语言模型, VSCode配置, AI编程助手, 机器学习, Thinkpad使用技巧, 华强北, 选购指南

【相关阅读】
- Thinkpad T14 深度评测：商务本的性能极限在哪里
- OpenClaw多模型集成配置指南
- 华强北Thinkpad港版购买防坑指南