AI 知識

深入淺出了解上下文工程觀念,從實務經驗了解272K 到 1M 怎麼選CP值最高?Transformer、Context Window、KV Cache、Context Rot 一次學明白!

上下文開越大不一定越好。272K 到 1M 怎麼選,先看能否裝下一段工作、壓縮後剩多少,以及成本或訂閱額度。一般 Claude Code 可從 512K~600K 開始,再依忘記規則或壓縮後接不上工作的情況調整;不是一律開到最大,也不是一律壓到最小。

本文跟著 AI 策略室 14 分 13 秒影片,把原理接回設定決策。內容與價格是截至 2026/10 月底的影片研究快照,並附說明欄的版本補充;不把不同模型或不同計費方案混成同一張帳單。

影片章節:從原理一路看到怎麼設

時間影片章節
0:00Claude 降智,還是上下文出了問題?
0:50按下 Enter 之後:Agent 迴圈與無狀態
1:37Transformer:模型怎麼讀你的對話
2:28上下文視窗:Claude 和 Codex 的書桌多大
2:56上下文腐化 Context Rot:為什麼會降智
3:56那 1M 是不是白開了?
4:30KV Cache:每一輪重送的錢
5:36本地模型:KV Cache 吃掉多少顯卡記憶體
5:53Codex 的 272K 加價線
6:25還沒開口,就用掉多少
7:49自動壓縮:Claude Code 和 Codex 怎麼壓
8:43工作空間公式:272K 到 1M 怎麼選
9:26奧微怎麼用 Codex 做大型專案
10:08奧微怎麼設、為什麼
10:54一般 Claude Code 該怎麼設
11:15768K 和 1M 適合什麼工作
11:38最省錢的是哪一檔?
11:55怎麼知道設得對不對
12:27長專案怎麼用
13:36百萬上下文到底有沒有用?

Claude 降智了嗎?按下 Enter 後,Agent 怎麼工作?

你說「幫我修這個 bug」,Agent 會讀檔、改程式、跑測試,再把結果交回模型問下一步。每一步都是一輪;模型本身無狀態,程式得把需要的歷史重新送給它。你只說一句,模型讀到的卻像一張越疊越高的書桌。

Transformer 與 Context Window 是什麼?書桌到底多大?

Transformer 是模型讀文字、分配注意力並逐步猜下一個 token 的主要架構。片中用「台北的天氣怎麼樣」說明:它會參考前面的詞,讓「天氣」「台北」得到不同注意力;正規化後加總 100% 的比喻,是幫你理解注意力要分配,不是用一個百分比保證答案品質。

Context Window(上下文視窗)是模型這一輪看得到的全部內容,好比書桌大小;token 是處理文字的計量單位,不等於中文字數,可先看token 的白話說明。片中 Claude 是 1M,當初推出百萬視窗時稱可放超過 75,000 行程式碼;Codex 的 GPT-6 Sol 預設是 272K。放得下,只是第一關。

Context Rot 是什麼?1M 上下文是不是白開了?

Context Rot(上下文腐化)就是桌上東西越多,模型越容易漏掉重要資訊。片中引用 2023 年 Lost in the Middle:當時 GPT-3.5 同一答案在第一份文件答對 75.8%,放中間是 53.8%,不給文件為 56.1%。另一份研究測 13 個模型,三萬多 token 時有 11 個低於自己短文成績的一半;這不是所有新模型的三萬 token 硬上限。

新模型確實進步:Anthropic 公布的 MRCR 八針測驗,在 1M 中找八項資訊,Opus 4.6 為 78 分,Sonnet 4.5 為 18.5 分。百萬視窗有用,但不能把一項找資料測驗當作長任務必然穩定的保證。降智也可能來自服務變動,片中另引 Anthropic 4 月事後檢討的三個品質改動,不把所有問題都怪給桌子太亂。

KV Cache 是什麼?有快取,為什麼額度還燒很快?

KV Cache 是把模型讀過內容的中間計算先存起來,像桌上做好的筆記;API 提示快取讓重讀便宜,不代表免費。片中以 Claude Opus 5.5 為例,快取讀取是一般輸入價格的 1/20。只算重讀相同前綴的費用,80 萬約是 20 萬的 4 倍;這不是整個任務含輸出、推理的總成本倍率。

訂閱者看的是用量額度,不是直接收到 API 美元帳單。片中訂閱快取 1 小時,API 預設 5 分鐘;過期後首輪須重建快取,所以超過 20 萬、閒置快一小時的 Claude Code 可能先自動壓縮。額度的差別可看Claude 與 ChatGPT 訂閱用量限制;快取觀念接著看上下文與快取的差別。

自己跑本地模型,這筆帳還會落在顯卡記憶體。影片引用 8B 模型開 128K 上下文,KV Cache 約 16GB 的設定例;不是所有 8B 的固定需求。估硬體時可對照24/48/96GB 顯存選購條件,不能只看模型檔案多大。

Codex 272K 是什麼限制?API 加價與訂閱一樣嗎?

片中 OpenAI API 長上下文的線是單次請求超過 272K:整個請求的輸入和快取價格乘 2 倍、輸出乘 1.5 倍,不只是超出部分加價。GPT-6 Astra 每百萬 token 的輸入/輸出從美元 10/50 變成 20/75。Claude 1M 片中則為標準單價,成本增加在重送的量。

補充以 2026 年 10 月底為準:Codex 預設視窗看型號,GPT-6 Sol、Astra 是 272K,GPT-6.1 Sol、Terra 是 500K,可手動開到 872K,仍以 Codex 實際顯示為準。前述加價是 API 計價;訂閱用量的官方價格頁寫明 GPT-6.1 Sol 不加價。不能把 API 線當成所有訂閱方案的硬限制。

還沒開口就用掉上下文?規則檔該放多少?

系統提示、工具說明、CLAUDE.md、記憶索引與技能清單,開場就會佔空間。奧微量到第一輪約 35,000~50,000 token;用 /context 看自己的起始量,不拿這組數字當你的固定負擔。

官方檔案規則補充以 2026 年 10 月底為準:CLAUDE.md 建議 200 行內;MEMORY.md 只讀前 200 行或 25KB;技能清單預算為視窗的 1%。片中 Codex AGENTS.md 合計上限 32KB;記憶功能截至 0.166.0(2026-10-29)預設仍關閉,與 Claude 預設開啟不同。

奧微曾把記憶索引寫到 34KB,後半沒讀到。現在常駐規則約 11KB,只放「做某事前先讀哪份手冊」的指引,技能也先放名稱和一句說明,用到才讀全文。要整理自己的規則,可以接著看系統提示與上下文工程。

自動壓縮會漏什麼?Claude Code 和 Codex 怎麼壓?

autocompact(自動壓縮)就是桌子快滿時,把一疊對話換成摘要。Claude Code 壓後會再放回 CLAUDE.md、計畫與最近檔案;奧微量過約 48 萬壓到約 10 萬。Codex 還保留較多最近使用者原話,所以壓完可能較大。摘要會漏,不是把內容完整搬到另一個倉庫;可看Agent 上下文壓縮的取捨。

壓縮也得讀整段對話;越亂才開始整理,越容易漏。快滿前自己 /compact,明說要保留哪些決定、限制和下一步;整理順序可參考推理之前先整理上下文,不要只等自動觸發。

Claude Code 上下文要開多大?272K 到 1M 的工作空間怎麼算?

公式是:真正可用工作空間 ≈ 壓縮門檻 − 壓縮後剩下的量。影片觀察觸發約比設定早 3 萬 token,奧微壓後約剩 10~12 萬。這個算法用了奧微本機壓縮紀錄,官方沒有明寫;每個人的餘量不同,壓一次後用 /context 量,別把下表當固定保證。

設定檔位能用的大約多少適合什麼工作
272K約 13 萬 token切細的工作段落;做完測試、記錄,再接下一段
372K約 22 萬 token奧微自有平台配套下的成本取捨,不是通用標準
512K~600K約 40 萬 token 上下一般 Claude Code;跨十幾個檔案的功能,盡量一段做完
768K約 62 萬 token大型重構、整個模組搬家;留意後段成本與品質
1M(預設)約 96 萬 7 千才自動壓縮(片中沒有另外算能用量)整個程式庫審查、大包 log 分析;實際仍看自己的壓後餘量

272K 能做大型專案嗎?奧微為什麼設 372K?

272K 並不小,本地模型受顯存限制常只開幾萬。奧微用 Codex 做大型專案,先寫實作計畫,把長任務切段;每段做完跑測試,當下把成果、決策和行不通的路寫檔,下一段開新對話讀計畫接手。用乾淨書桌配持久紀錄,換來成本可控。

Claude 這邊,奧微目前設 372K,能用約 22 萬;因為用的是自己開發的平台,規則、計畫和進度已存檔,壓後接得回來,才壓得早。這不是每個人的通用答案;一般 Claude Code 尚未養成寫紀錄習慣,建議先 512K~600K,能用約 40 萬上下,讓跨十幾個檔案的功能盡量從讀碼、修改到測試一次做完。片中也提寶玉建議約 40 萬、自己用約 30 萬,作為個人選擇的例子。

768K 和 1M 適合什麼工作?最省錢的是哪一檔?

768K 能用約 62 萬,適合大型重構或模組搬家;越到後段每輪越貴,也越要注意品質。1M 預設到約 96 萬 7 千才自動壓縮,適合全庫審查或一大包 log。這個門檻不是淨可用量;片中沒有另外算 1M 的能用量。

最省的不是最小,也不是最大,是剛好裝得下一段工作。太小會反覆壓縮,每次是整段大請求;太大則一直重送用不到的內容。奧微調低主要為成本:新模型若放的都是用得到的東西,經驗上開大不太會降智;也不因此保證所有長對話都穩。

/autocompact 怎麼設?怎麼知道設得對不對?

兩個訊號:開始忘規則、繞圈,就往下調;每次壓後都得重講同一件事,就往上調。Claude Code 示範:

/autocompact 512k
/autocompact auto

第一行設 512K,第二行回預設。Codex 的片中示範是視窗 872K、256K 就自動壓縮;兩個值是不同事情:

model_context_window = 872000
model_auto_compact_token_limit = 256000

長專案要一直開新對話嗎?百萬上下文到底有沒有用?

同一個專案、前文還有用,就接著做,讓它壓縮;奧微一條專案對話也可能用好幾個月,多花一些換不用重教。真正不相關的工作才 /clear 或新對話,這和前面 Codex 切段的成本做法,是不同工作條件下的選擇。

重要決定、修正當下寫檔;生圖可獨立 agent,不把每張圖堆進主對話。查資料、跑測試的長輸出,若往後只需要結論,就交子 agent;後面還得用原始資料的則留在適當工作脈絡。走錯分支時,按兩下 Esc 回到前面重來,少把錯誤路線留桌上。

1M 有用,但它是一張要整理的書桌,不是所有東西都塞進去的倉庫。更完整的觀念可對照影片依據:《深入理解 AI Agent》第二章:上下文工程;這篇則幫你回到今天該選哪一檔。

常見問題

Claude Code 上下文要開多大?

依影片的工作經驗,一般 Claude Code 可從 512K~600K 開始,能用約 40 萬 token 上下。選擇重點是能否裝下一段完整工作,不是越大越好;實際壓縮後餘量要用 /context 看自己的環境。

1M 上下文有用嗎?

有用。適合一次看完程式庫或大量 log 才能判斷的工作;訂閱額度用不完,留在預設也可以。只是桌子大不代表每輪都該堆滿,重送更多內容仍會增加成本與整理負擔。

Context Rot 是什麼?

Context Rot 是上下文變長後,模型更容易漏掉重要資訊的現象。能放進視窗不代表能穩定利用;不同模型、任務和資料位置的表現不同,不能拿舊模型的測試當成所有新模型的硬上限。

KV Cache 是什麼?有快取就不花 token 了嗎?

KV Cache 保存模型已算過的中間結果,提示快取讓後續重讀較便宜,但不是免費。API 的輸入、快取與輸出價格要分開看;訂閱方案則看額度,不能直接換成 API 美元帳單。

Codex 272K 是不能超過的限制嗎?

不是所有 Codex 型號共同的硬上限。影片所述 API 長上下文計價,單次請求超過 272K 時,整個請求輸入與快取乘 2、輸出乘 1.5;預設視窗與訂閱用量另看型號和方案,不要混為一談。

/autocompact 怎麼設?什麼時候開新對話?

片中示範 /autocompact 512k,回預設用 /autocompact auto。快滿前可用 /compact 指定保留重點;同專案且前文還有用就接著做,真正不相關的工作才 /clear 或開新對話。

資料來源(截至 2026/10 月底)

  1. Claude 1M 上下文正式上線
  2. Claude Opus 4.6 系統卡:MRCR v2 長文測驗
  3. Lost in the Middle 研究
  4. NoLiMa 研究
  5. Anthropic:上下文工程與注意力預算
  6. Anthropic:Claude Code 對話管理與 1M 上下文
  7. Anthropic 4 月品質事後檢討
  8. Claude Code 官方文件:模型與自動壓縮設定
  9. OpenAI GPT-6 Astra 模型與價格
  10. llama.cpp:Llama 3.1 8B 的 KV Cache 載入紀錄

想把 Agent 用進團隊日常工作,可以從一段可測試、可交接的流程開始。歡迎透過 LINE 和奧微聊聊,一起釐清適合的工作範圍。

回文章列表