Cloudflare 的 AI 程式碼審查，每次成本從 4 月的 1.19 美元一路漲到 8 月約 2.46 美元。他們追查 token 流向後，靠共用提示快取前綴、減少多餘呼叫、重新挑選模型與思考強度，把平均成本壓到 0.77 美元，中位數審查時間也從 4 分 09 秒縮到 1 分 32 秒。更難得的是，他們認真檢查了「便宜之後品質有沒有變差」。給要把 AI 代理放進日常流程的團隊一份算帳指南。
導入 AI 的第一個月，大家都很開心：「哇，一次才一塊多美金！」
到了第五個月，財務部門走過來，手上拿著一張帳單，表情有點複雜：「架構沒改、流程沒改，為什麼費用翻倍了？」
這不是假設題，這是 Cloudflare 自己的真實故事。10 月 19 日，Cloudflare 工程師 Ryan Skidmore 在官方部落格公開了他們 AI 程式碼審查系統的「省錢日記」：平均每次審查成本從 2.43 美元降到 0.77 美元，減少 68%；中位數審查時間從 4 分 09 秒縮到 1 分 32 秒。
而最值得學的，不是那個 68%，而是他們怎麼找到錢花去哪裡、以及怎麼確認便宜之後沒有變爛。
帳單是怎麼翻倍的？
Cloudflare 的 AI 審查器由一個「協調者」把工作分給多位專職審查者（程式碼品質、安全、效能、文件等），再依風險分級決定審查要多深入。4 月時，平均一次審查 1.19 美元；到 8 月底，變成約 2.46 美元。
把審查等級的比例固定後看，每次成本從 3 月的 1.22 美元、6 月 1.44 美元、7 月 1.74 美元，一路漲到 8 月的 2.32 美元。原因有幾個：
- 改動變大了。 模型越來越強，工程師提交的變更也越來越大、越複雜，落在「完整審查」等級的比例從 59% 升到 65%。
- 換了模型。 8 月初所有審查者改用 Anthropic 的模型，因為在他們的評測中表現較好，每次工作成本從 1.38 美元升到 2.03 美元。其中內部規範審查者改用 Claude Opus 4.7 後，每次從約 0.25 美元變成 0.88 美元，比協調者本身還貴。
- token 爆量。 快取命中率從 4 月的 85.7% 升到 9 月的 97%，聽起來很棒，但每次審查的 token 數量也從 91 萬暴增到 299 萬。命中率再高，三倍的量還是很貴。
錢都燒在哪裡？答案是「重讀」
開始優化前，審查費用的組成是：輸出 token 約 23%、快取寫入 43%、快取讀取 34%。換句話說，大部分的錢花在「模型已經看過、或即將再看一次」的上下文。
這很合理。以程式碼品質審查者為例，一次審查平均呼叫模型 16.6 次，總共寫入快取 7.2 萬 token、讀回 108 萬 token，因為每一次呼叫都要把整段對話重新送一次。
這裡要先懂一點提示快取的規則（以 Anthropic 為例）：快取的是對話「開頭」那段已經算過的前綴；寫入快取的價格是一般輸入的 1.25 倍，讀取只要 0.1 倍；沒有人讀取的話，快取 5 分鐘後過期。
所以要省錢只有兩條路：讓每個工作階段的第一個請求盡量讀快取而不是寫快取，以及讓每個工作階段少呼叫幾次。
關鍵一刀：讓所有儲存庫共用同一段快取
團隊在 9 月 14 日開始記錄每位審查者第一次呼叫的 token 用量，結果發現：第一個請求只有 14% 到 26% 的時間命中快取。明明每個工作階段開頭都是相同的工具定義與代理提示，有 1.1 萬到 2.1 萬 token 在所有儲存庫中一模一樣，照理說應該幾乎都會命中。
問題出在舊版 OpenCode 組系統提示的方式：它把代理提示和「工作目錄、日期」這類環境資訊放在同一個區塊，唯一的快取斷點放在區塊最後面。共用的部分從來沒有被單獨存起來，所以 A 儲存庫的審查永遠用不到 B 儲存庫寫好的快取。
9 月 16 日，他們在每個代理提示結尾加上標記，再用外掛把區塊切成兩半，讓所有工作共用的前半段擁有自己的快取斷點，並把任何跟儲存庫有關的內容移到後面。同一天，他們也把內部規範審查者原本要花三輪工具呼叫去讀的參考索引直接放進提示，它的呼叫次數從 15.9 次降到 9.6 次，每次成本從 1.12 美元降到 0.72 美元。
這兩項加起來，讓每次審查從 2.47 美元降到 2.02 美元，上線當下就看得到效果。
一堆小改動，加起來也很可觀
9 月 21 日與 23 日的一批改動，單獨看都不起眼，合計每次審查省下約 0.20 美元：
- 拿掉用不到的工具。 子審查者看得到「張貼最終審查留言」的工具，結果有 57% 到 76% 的工作階段會試著呼叫它、被伺服器拒絕，再多花一次呼叫收拾殘局。
- 平行讀檔。 程式碼品質審查者有 64% 的回合只做一次工具呼叫，通常只讀一個檔案。改成第一輪就把共用上下文和所有修補一次讀進來。
- 重審時略過沒事做的審查者。 約三分之二的工作是同一個合併請求的第二次以上審查，常常有三位審查者根本沒有新東西可看。
- 審查張貼後就停。 原本還會多跑一輪，讓模型重讀整段對話寫一份沒人看的摘要，每次約浪費 0.07 美元。
- 真的取消已取消的工作。 GitLab 的 Kubernetes 執行器在工作被取消時不會通知腳本；在 446 個被取消的工作樣本中，有 358 個照樣跑到審查結束。現在每 15 秒自我檢查一次狀態。
最精巧的一招是讓程式碼品質、安全、效能三位審查者送出完全相同的第一個請求，由其中一位寫入快取、另外兩位等它開始回應後再讀，最多等 20 秒。慢一點點，但每位審查者約省 9 美分。
模型與思考強度：省下的大頭
團隊把每次發布與設定變更切開來比較，發現程式碼改動只占 1.67 美元降幅中的 0.65 美元，模型與思考強度的調整占了 1.06 美元（官方也提醒這不是嚴謹的對照實驗）。
協調者改用中等強度後，完整審查快了 20%；隨機分組測試中，Opus 5.5 中等強度與 Opus 5 相比，審查結果沒有可量測的差異，於是切換。10 月 3 日，Sonnet 審查者以 50/50 分組比較 Sonnet 5 與 Sonnet 5.5，兩天半後 Sonnet 5.5 在程式碼品質、效能、安全上每次分別便宜 62%、58%、47%；兩者每 token 價格相同，所以省下的全部來自用了更少 token。
便宜了，有沒有變爛？
這是整篇文章最值得企業參考的部分。程式碼品質審查者的嚴重與警告等級發現少了 40%，乍看很可怕。但團隊從兩個方向驗證：
- 作者有沒有照著改？ 優化前，作者對程式碼品質審查者的嚴重發現有 34% 會動手修改；現在是 59%。每千次審查中真正促成修改的發現數，從 145 變成 132，在誤差範圍內。
- 盲測評分。 用兩家不同供應商的模型盲評 657 筆發現，結果每次審查的「重要」發現從 0.28 變成 0.30，而被評為「嚴重度誇大」的從 0.46 降到 0.14，減少 70%。
結論很誠實：程式碼品質在高強度下，消失的大多是雜訊和誇大的嚴重度；但效能審查在中等強度下確實少抓了真問題，大約每 24 次完整審查少一個重要發現，下一步要測試高強度。
給企業與工作室的實務建議
- 先看帳單組成，再談換模型。 把成本拆成輸出、快取寫入、快取讀取，你才知道錢燒在哪。
- 檢查第一個請求有沒有命中快取。 把日期、使用者名稱、專案路徑這類會變的東西放到提示後段，讓共用前綴保持一字不差。
- 砍掉用不到的工具與多餘回合。 每個工具定義都是 token，每個沒人看的摘要都是錢。
- 用 A/B 分組挑模型與強度。 不要憑印象，也不要預設「越貴越好」。
- 成本與品質要一起量。 至少追蹤「發現有沒有被採納」這種貼近實際價值的指標。
- 確認取消真的會停。 背景工作沒停，帳單也不會停。
你可能會問
Q：我們的 AI 用量沒有 Cloudflare 那麼大，這些也適用嗎？ A：原則一樣。客服機器人、內容生成、資料整理流程，只要會重複送相同的系統提示，就值得檢查快取命中率。
Q：提示快取每家模型都一樣嗎？ A：文章描述的是 Anthropic 的提示快取規則（寫入 1.25 倍、讀取 0.1 倍、5 分鐘過期），其他供應商的價格與機制可能不同，導入前請查清楚。
Q：調低思考強度一定比較省嗎？ A：省錢是真的，但 Cloudflare 的數據顯示，程式碼品質審查在中等強度下會漏掉真問題，所以他們改回高強度。省多少、掉多少，要量了才知道。
結語：AI 不是越用越便宜，是越「看得懂帳單」越便宜
模型每一代都在變強，但帳單不會自己變小。Cloudflare 這篇文章最大的價值，是示範了一種態度：把每一筆 token 當成真金白銀，同時不讓省錢變成偷工。
如果你只記得一件事，記住作者給的兩個檢查點：每個工作階段的第一個請求，真的有讀到快取嗎？你付錢的那個強度，真的還在抓真問題嗎？
來源：Cutting our inference bill by 68% by being obsessive about optimization（Ryan Skidmore，Cloudflare Blog，2026/10/19）。