Prompt Caching、CoT、Tokenization 與 LLM 成本結構全解析
大型語言模型（LLM）API 的成本控制已成為企業導入 AI 的核心議題。從提示詞快取、思維鏈推理、分詞演算法選擇，到 RAG 架構優化，每個技術環節都直接影響帳單與延遲。本文系統拆解五大關鍵技術面向，提供可落地的成本優化策略。
1. Prompt Caching 降低成本原理
核心機制
Prompt Caching（提示詞快取）在 API 請求包含重複前綴（如固定 system prompt、工具定義、長文件上下文）時，將請求路由至已處理相同前綴的伺服器，直接複用運算結果，避免重複計算。
四步驟運作流程：
- 快取路由：依提示前綴雜湊值（通常取前 256 tokens）分配對應伺服器。
- 快取查詢：檢查當前伺服器是否存在匹配的快取內容。
- 快取命中：找到匹配前綴，直接使用快取結果，大幅降低延遲與成本。
- 快取未命中：處理完整 Prompt 後將前綴快取供後續請求使用，閒置 5–10 分鐘後自動清除。
供應商門檻與效益
- OpenAI：Prompt 長度需 ≥ 1,024 tokens 才可能觸發，以 128 tokens 為增量遞增。官方宣稱延遲降低最高 80%，成本減少最高 50%（實測場景可達 75–90%）。
- Anthropic Claude：支援系統提示、RAG 文件、工具定義、多輪對話四種快取模式，生產環境可將 LLM 成本降低達 70%。
最佳實踐
將靜態內容（指令、範例、角色設定）置於 Prompt 開頭，動態內容（使用者特定輸入）置於末尾，確保前綴完全匹配以最大化命中率。
2. 思維鏈的 Token 成本結構
隱藏成本來源
Chain-of-Thought（CoT）推理模型（如 OpenAI o1/o3、DeepSeek R1）會產生隱藏的「思考 tokens」，這些 tokens 以輸出 token 相同或更高費率計費，卻不顯示於最終回應。帳單中 90% 以上成本可能來自不可見的推理過程。
三層成本拆解
| 層級 | 說明 | 計費費率 |
|---|---|---|
| 輸入 tokens | 使用者傳入的 Prompt | 最低 |
| 推理 tokens | 模型內部思維鏈生成的隱藏 tokens | 通常以輸出費率計費，成本膨脹主因 |
| 輸出 tokens | 最終呈現給使用者的回應 | 標準輸出費率 |
實測成本倍數
啟用擴展思考的推理模型單次查詢成本比標準模型高 10–50 倍，延遲增加 5–10 倍。
決策框架
- 簡單任務：使用推理模型等同浪費預算，改用輕量模型。
- 複雜多步驟邏輯任務：才值得付出「效率稅」。
主流模型價格參考（每百萬 tokens）
| 模型 | 提供商 | 輸入價格 | 輸出價格 |
|---|---|---|---|
| Gemini 3 Flash | $0.50 | $3.00 | |
| DeepSeek R1 | DeepSeek | $0.55 | $2.19 |
| GPT-5 | OpenAI | $1.25 | $10.00 |
| Gemini 2.5 Pro | $1.25 | $10.00 | |
| o3 | OpenAI | $2.00 | $8.00 |
| Claude Sonnet 4.6 | Anthropic | $3.00 | $15.00 |
| Claude Opus 4.6 | Anthropic | $5.00 | $25.00 |
價格隨供應商調整而變動，決策前請以官方最新報價為準。
3. BPE 與 WordPiece 分詞效率比較
演算法差異
| 特性 | Byte Pair Encoding (BPE) | WordPiece |
|---|---|---|
| 合併準則 | 貪婪頻率統計：每次合併語料庫中出現頻率最高的相鄰符號對 | 似然度最大化：選擇能最大化語言模型概率的合併對 |
| 訓練/推理速度 | 較快（規則單純） | 較慢（需計算似然度） |
| 稀有詞/多語言切分品質 | 略遜 | 略優 |
| 典型應用 | GPT 系列（Byte-level BPE）、Llama（SentencePiece 混合策略） | Google BERT 系列 |
對 API 計費的影響
所有主流供應商均按 token 數計費。分詞效率越高（單位文字產生的 token 越少），成本越低。同樣的文字（如「Hello World」）在不同供應商的 tokenizer 下可能產生不同 token 數量，跨平台成本比較時須納入此變數。
4. Prompt 工程優化輸出長度與成本
輸出 token 費率通常遠高於輸入 token，透過 Prompt 結構設計可直接壓縮輸出長度。
具體優化策略
- 明確設定輸出格式與長度上限：在系統提示中指定「限制在 200 字以內」或要求結構化 JSON 輸出，避免冗長解釋。
- Token 預算感知推理：為推理模型設定明確的思維鏈 token 預算，在保持準確度前提下壓縮思考過程。
- 模型路由：簡單任務導向輕量模型（GPT-4o-mini、Gemini Flash），僅將深度推理任務交給旗艦模型，可降低成本達 94%。
- 批次 API：非即時性任務採用批次處理，直接減半 token 計費。
- 靜態內容前置＋動態內容後置：搭配 Prompt Caching，將系統提示、工具定義等固定內容放在請求開頭以最大化快取命中率。
Agentic AI 場景特別防線
自主代理因對話歷史不斷重新注入上下文，單一任務 token 消耗可能是標準對話的 15–750 倍。設置硬性迭代上限（通常 10–15 輪）是控制成本失控的關鍵防線。
5. 推理與預訓練的 Token 消耗差異
預訓練：一次性巨量固定成本
- 遵循 Chinchilla scaling law：每參數約需 15–20 tokens 最優訓練比例，但業界趨勢為「過度訓練」，實際消耗可達 每參數 100+ tokens。
- 使用 A100/H100 GPU 叢集大規模平行運算，功耗峰值與波動極高（短時間功率波動可達供電容量 37.5%）。
指令微調：低成本適應
- 僅消耗 0.1–5B tokens，運算成本為預訓練的 1–10%。
推理：持續性邊際成本
- 僅執行前向傳播，運算資源需求遠低於訓練。
- 內部分兩階段：
- Prefill：處理輸入 tokens，運算密集，造成功率尖峰。
- Decode：自回歸逐字生成，記憶體帶寬密集，功耗較低但持續時間長。
- 功耗呈現「日內週期」（互動式工作負載），與訓練的劇烈集中波動不同。
結論：預訓練決定模型能力上限，屬一次性固定成本；推理階段的 token 消耗直接反映於每次 API 呼叫帳單，也是 Prompt Caching、CoT 控管、分詞優化真正發揮作用的場域。
6. RAG 如何優化長文本 API 成本
核心邏輯
用「精準檢索相關片段」取代「將整份長文件塞進 Prompt」，大幅減少計費的輸入 token 數量。
一次 RAG 請求的成本組成
| 成本項 | 說明 | 增長風險 |
|---|---|---|
| 系統提示詞 | 固定角色、規則、回答格式 | 中等 |
| 用戶問題 | 本輪使用者輸入 | 低 |
| 檢索片段 | 從知識庫召回的文件內容 | 高 |
| 歷史對話 | 多輪問答累計上下文 | 高 |
| 引用與格式要求 | 引用編號、來源、結構化輸出要求 | 中等 |
| 模型輸出 | 最終回答內容 | 高 |
無法只用「使用者問題長度」估算成本，真正決定帳單的是每次請求帶入多少檢索內容、保留多少歷史對話、以及輸出多長答案。
五大核心優化策略
1. 控制檢索片段數量與長度
- Top-K 從 4 提高到 10、Chunk 長度從 500 提高到 1,500 tokens，單次輸入可能增長數倍，但效果提升有限。
- 建議上線前用三組壓力測試（短、標準、長上下文）記錄品質與 token 消耗。
- 實測：平均檢索內容從 8,000 降至 4,000 tokens，月成本降幅可能超過更換模型。
2. 歷史對話截斷與摘要
- 只保留最近幾輪原始對話，更早內容壓縮為摘要。
- 低價值寒暄不進入長期上下文。
- 複雜/簡單任務設置不同上下文長度預算。
- 免費/付費用戶採用差異化上下文配額。
3. 結合 Prompt Caching 分離固定與動態內容
- 系統提示詞、工具說明等固定模板適合快取；用戶問題與檢索片段變化大，不能預設全部按快取價格計算。
- 正確做法：固定部分按快取讀取單價，動態檢索內容按普通輸入單價，分開估算才能準確反映節省幅度。
4. 智能切塊與跨文件檢索取代整篇貼上
- 程式碼助手案例：透過 AST 智能切分與跨文件多跳檢索，搭配結構化 Prompt，將每次輸入從 2.5 萬字壓縮至數百字，token 消耗降低 96%，同時提升回應速度並支援本地部署。
5. 選模型時同時看輸出成本
- RAG 回答往往較長，即使輸入單價便宜，若模型傾向生成冗長答案，輸出成本仍會拉高總費用。
- 建議先用 50–100 條真實問題測試平均輸出長度，再代入成本計算器評估。
- 實測案例：結合 LangChain 建置 RAG 文件問答系統可將 API 成本降低 65%。
上線前檢查清單
- 是否限制最大檢索片段數與單片段最大長度。
- 是否記錄每次請求的輸入與輸出 token 數。
- 是否區分普通問題與複雜問題的上下文預算。
- 是否設有歷史對話截斷或摘要機制。
- 是否單獨估算失敗重試與格式修復調用的額外成本。
- 是否把固定提示詞與動態檢索內容分開計算快取收益。
結論
LLM 成本控制的關鍵槓桿在於：減少每次請求帶入的無效上下文。
- Prompt Caching 針對固定前綴複用運算，需配合靜態前置、動態後置的 Prompt 結構。
- CoT 推理模型 隱藏思考 tokens 為成本大戶，僅在複雜任務啟用，並設定 token 預算。
- 分詞效率 直接影響 token 計數，跨平台比價須統一 tokenizer 基準。
- Prompt 工程 透過輸出限制、模型路由、批次處理可獲指數級節省。
- RAG 架構 的檢索粒度、歷史截斷、快取分離、智能切塊是成本優化的四大支柱。
將上述策略組合落地，並建立持續監控（token 記錄、成本儀表板、A/B 測試），才能在保持模型效能的前提下，將 API 支出控制在可預期區間。
附註與注意事項
- 文中模型價格為參考值，實際以各供應商官方最新報價為準。
- Prompt Caching 命中需前綴完全匹配，且通常有最小長度門檻（OpenAI ≥1,024 tokens）。
- 快取 TTL 一般為 5–10 分鐘，閒置即失效。
- 推理模型成本極易失控，務必設定硬性 token 上限與迭代上限。
- 不同 tokenizer 對同一文字產生的 token 數量不同，成本試算請使用目標模型的 tokenizer 實測。
- Agentic 迴圈若無硬性輪次限制，極易產生不可預期的高額帳單。