比較 11 款 Nvidia 顯卡（RTX 4060 Ti 到 RTX PRO 6000 Blackwell）的 VRAM、價格與適用 LLM 規模，附量化 VRAM 試算表與選購決策樹，快速找到最划算的本地推論顯卡。
Nvidia 本地 AI 推論顯卡完整選購指南（單卡 ≤ 1 萬美元）
本文彙整 Nvidia 從消費級到專家級工作站/資料中心入門卡，單卡建議售價在 10,000 美元以下、適合本地大型語言模型（LLM）推論的 11 款顯卡。內容涵蓋 VRAM 容量、價格區間、適用模型規模與量化建議，並提供 VRAM 需求試算公式與量化等級對照表，協助個人開發者到中小企業依預算與模型需求精準選卡。
顯卡快速比較表
| 顯卡型號 | 級別 | VRAM | 建議售價（USD） | 適用情境與備註 |
|---|---|---|---|---|
| RTX 4060 Ti 16GB | 消費級入門 | 16 GB | $450–500 | 小型模型（≤ 7B）推論、個人試玩、預算最優先 |
| RTX 3090（二手） | 消費級 | 24 GB | $700–750 | 高 VRAM 性價比首選，支援 NVLink 多卡擴充，適合中型模型 |
| RTX 5070 Ti | 消費級中階 | 16 GB | $749–800 | 新世代架構，tok/s 表現優於同價位舊卡，適合 7B–13B INT4/INT8 |
| RTX 4070 Ti Super | 消費級中階 | 16 GB | $800–900 | 效能與價格平衡，成熟生態系，適合 7B–13B 量化推論 |
| RTX 4080 Super | 消費級高階 | 16 GB | $1,000–1,100 | 較高算力，適合中型模型量化推論，單卡極限約 13B FP16 |
| RTX 4090 | 消費級旗艦 | 24 GB | $1,600–2,000 | 個人開發者主流選擇，支援 24B–30B 級模型量化推論 |
| RTX 5090 | 消費級旗艦（Blackwell） | 32 GB | $2,000–2,800 | 新一代旗艦，VRAM 提升至 32 GB，支援更大模型或多任務並行 |
| L4 | 專業入門（資料中心） | 24 GB | $2,500–3,000 | 低功耗（72 W）、專為推論設計，適合邊緣部署與 24/7 運作 |
| RTX 6000 Ada Generation | 專家級工作站 | 48 GB | $6,500–7,000 | 大顯存工作站卡，支援 70B 級模型 INT4 量化推論，ECC 顯存 |
| L40S | 專家級（資料中心） | 48 GB | $7,000–8,500 | 中小企業高並發推論性價比之選，支援 FP8、結構化稀疏度 |
| RTX PRO 6000 Blackwell | 專家級旗艦工作站 | 96 GB | $8,000–10,000 | 目前 1 萬美元內最高規格，顯存翻倍、效能優於 5090 約 10%，可跑 70B FP16 或多卡並發 |
註：價格為市場建議售價區間，實際成交價因地區、供貨狀況與二手市場波動而異。企業級 H100、H200、A100 等單卡通常超過 1 萬美元，故未列入。
VRAM 需求試算核心公式
模型載入後佔用的顯存大致為：
模型 VRAM ≈ 參數量（B）× 每參數位元數 ÷ 8 （單位：GB）
再加上 KV Cache 與 Runtime Buffer 額外 10–20%，長文本對話隨 Context Window 線性增長。
量化等級對照表（以 7B / 13B / 70B 為例）
| 量化格式 | 每參數位元數 | 相對精度 | 7B 約需 VRAM | 13B 約需 VRAM | 70B 約需 VRAM |
|---|---|---|---|---|---|
| FP16 / BF16 | 16-bit | 最高（近乎原始精度） | ~14 GB | ~26 GB | ~140 GB |
| INT8 | 8-bit | 高，幾乎無感知損失 | ~7–8 GB | ~13–14 GB | ~70 GB |
| INT4 (Q4_K_M 等) | 4-bit | 中等，日常對話影響小 | ~4–5 GB | ~7–8 GB | ~35–40 GB |
| INT2 | 2-bit | 明顯下降，極端受限時使用 | ~2–3 GB | ~4–5 GB | ~18–20 GB |
實際數值會因量化演算法（GGUF Q4_K_M、Q5_K_M、GPTQ、AWQ 等）與推論框架（llama.cpp、vLLM、TensorRT-LLM）略有差異。
依 VRAM 反向選擇量化的實用決策樹
| 顯卡 VRAM | 建議模型與量化策略 | 備註 |
|---|---|---|
| ≤ 8 GB | 1B–3B 小模型，或 7B INT2 極限量化 | 體驗明顯受限，不建議作為主力開發機 |
| 12 GB | 7B INT4（Context ≤ 4K） | 需嚴格限制 Context 長度，避免 OOM |
| 16 GB | 7B INT8 / FP16 舒適運行 | 主流甜蜜點，兼顧品質與成本 |
| 24 GB | 7B/8B FP16 無壓力；13B INT4/INT8 | 可開較大 Context，適合單卡多任務 |
| 32 GB | 13B FP16、30B INT4、70B INT4（單卡極限） | RTX 5090 獨有優勢，支援更大批次 |
| 48 GB | 13B+ 高精度、70B INT4/INT8 並發 | 工作站/資料中心入門門檻，支援 ECC |
| 96 GB | 70B FP16/BF16、多卡並發高吞吐 | RTX PRO 6000 Blackwell 獨佔優勢 |
選購三大原則
- VRAM 決定模型上限：同架構下，VRAM 越大能跑的模型參數量與精度越高。
- 性價比看「美元/GB VRAM」：二手 RTX 3090（~$30/GB）與 RTX 4060 Ti 16GB（~$30/GB）極具競爭力；專業卡溢價換取 ECC、驅動支援與 24/7 可靠度。
- 預留成長空間：若半年內可能升級至 70B 模型，建議直接投入 48 GB 以上顯存，避免重複投資。
常見問題（FAQ）
Q: 消費級卡能 24/7 跑推論服務嗎？
A: 硬體上可行，但缺乏 ECC 顯存、驅動優化以桌面用途為主，長期高負載建議改用 L4 / L40S / RTX 6000 Ada 等專業卡。
Q: 為何不推薦 AMD / Intel 顯卡？
A: 本文聚焦 Nvidia CUDA 生態（最完整的 LLM 推論框架支援）。ROCm 與 oneAPI 進步快，若團隊有移植能力可另行評估。
Q: 兩張 RTX 3090 NVLink 是否優於單張 RTX 6000 Ada？
A: 48 GB 總顯存相同，但雙卡功耗、散熱、軟體設定複雜度較高；生產環境建議單張專業卡。
Q: 量化會大幅降低模型智力嗎？
A: INT4（Q4_K_M）在多數對話、摘要、程式碼任務上與 FP16 差異 < 2–3%（MMLU 等基準），是部署首選；僅在高精度推理、數學、多語言任務建議升級 INT8/FP16。
結語
- 個人開發/預算 < $1,000：二手 RTX 3090 24 GB 或 RTX 4060 Ti 16 GB 最高 CP 值。
- 進階開發/預算 $1,500–3,000：RTX 4090 24 GB 或 RTX 5090 32 GB 單卡解決 30B 級需求。
- 中小企業部署/高可用/預算 $5,000–10,000：L40S 48 GB 或 RTX 6000 Ada 48 GB 兼顧效能與可靠度；追求單卡極限則選 RTX PRO 6000 Blackwell 96 GB。
先以 INT4 (Q4_K_M) 為預設部署基準，確認 VRAM 餘裕後再視品質需求升級量化等級，即可在預算內獲得最佳推論體驗。