模型變強了，
八成要刪掉

壹 · 先刪 — PROMPT 與 SKILL

你寫給模型的東西，八成是給上一代的

80%

Anthropic 從 Claude Code 的 system prompt 移除的比例，在 coding eval 上沒有可測量的損失

1. 法則 01先刪，再加

   Anthropic 點名的四件事，今天就能在自己的 CLAUDE.md 上做：

   • 刪掉互相衝突的指令。「leave documentation as appropriate」配上「DO NOT add comments」，模型得先花力氣調解你的自相矛盾。
   • 用判斷取代規則。舊：「預設不寫註解，絕不寫多段 docstring」。新：「寫出讀起來像周圍程式碼的程式碼——比照它的註解密度、命名與慣用法」。
   • 刪掉 tool 使用範例，改成把參數設計得更有表達力，讓模型從介面本身推斷行為。
   • 同一條指令只放一處。不要在 system prompt、tool description、skill 三個地方重複，收斂到 tool description。

   Claude Code 的 /doctor 就是拿來找這些多餘約束的。順序很重要：先跑一輪刪，再考慮加任何新東西。

2. 法則 02一份 CLAUDE.md 的前後

   把兩家點名的 anti-pattern 放進同一份檔案，你會發現它長得非常眼熟：

   刪之前 · 十一條，五種病

   # CLAUDE.md
   - Always read ARCHITECTURE.md, DATABASE.md and DEPLOY.md before ANY change.
   - Default to writing no comments. Never write multi-paragraph docstrings.
   - Leave documentation as appropriate.
   - ALWAYS run the full test suite after every edit. Never skip tests.
   - Think step by step before answering. Explain your reasoning.
   - Example of db_query: db_query({ sql: "SELECT id FROM users WHERE ..." })
   - Ask for approval before running any command.
   - Ask for approval before modifying any file outside src/.
   - Use pnpm, not npm.
   - Follow STYLE.md. Also: 2-space indent, single quotes, no semicolons.
   - Use pnpm, not npm. (see above)

   刪之後 · 五行

   # CLAUDE.md
   Monorepo on pnpm workspaces. Service boundaries: ARCHITECTURE.md. Schema changes: DATABASE.md.
   Write code that reads like the surrounding code — match its comment density, naming and idiom.
   Run the affected tests, fix failures caused by your change, rerun. Don't ask at each step.
   Done means: tests green, lint clean, one PR-sized diff with a two-line summary.
   Ask before: touching migrations/, anything under infra/, or any destructive git operation.

   逐條對應：全域前置閱讀變成任務導向的指標；兩條互相打架的註解規則變成一條判斷；「一定要跑測試」變成授權加完成標準（Astra 自己會跑，留著反而造成多餘測試）；「think step by step」整條刪掉，推理預算不是這樣調的（法則 04）；tool 範例刪掉；兩處的 pnpm 收成一處，STYLE.md 的內容不再複述；「任何指令都要問」變成只在真正危險的三種操作前問——過嚴的核准規則會讓有能力的模型提早停手。

3. 法則 03skill 不是愈多愈好

   OpenAI 對 Astra 的指引裡最實際的一句：skill 一多，Codex 會自己把描述截短——被截掉的部分是它挑的，不是你挑的。所以描述要盡可能短，觸發條件要具體：「Use when working with databases, queries, models, or persistence」改成「Use when adding or changing a migration, or reviewing its rollout」。

   修剪程序，四步：

   • 每個 skill 寫一句具體的觸發情境。寫不出「什麼任務會用到它」而只能寫出「什麼領域」的，太寬，合併或刪。
   • 兩個 skill 觸發條件重疊，留一個。模糊的範圍會讓模型同時載入兩份不需要的指示。
   • skill 本體用漸進揭露：SKILL.md 只放判斷何時用與怎麼開始，重的參考資料放連結檔案，需要時才載入。
   • 用回歸題測 skill 開關（法則 09）。開了沒改變結果的 skill 是死重量。

   要留的兩種句子

   授權語句：「Run them, fix failures caused by the requested change, and rerun affected tests without asking for approval at each step」。完成標準：把「做完是什麼樣子」講清楚，取代任務中途的核准檢查點。這兩種句子是在給模型空間，不是在補它的短處。

4. 法則 04推理預算用參數調，不用 prompt 求

   「不用 CoT 也一樣準，把 step-by-step 刪掉省錢」這條建議錯在機制：推理預算由 reasoning_effort 控制（low / medium / high / xhigh / max），不是由你 prompt 裡有沒有寫「請逐步說明」決定。無 CoT 模式約 83%，完整模式下 FrontierMath Tier 4 是 97.6%——差快 15 個百分點，而且你刪 prompt 文字省不到 reasoning token。

   一個起手式（這是分類邏輯，不是廠商建議）：分類、抽取、格式轉換走 low；例行修改走 medium；跨檔案重構與除錯走 high；研究等級的數學或架構決策才上 xhigh / max。每一檔在你的回歸題上量一次，比猜準。

貳 · 判斷留在殼裡 — HARNESS、RUNTIME、記憶

API 給你手腳，loop 還是你寫

5. 法則 05harness 變薄，不是消失

   Responses API 這一年長出來的東西幾乎是照著 harness 的內臟長的：hosted shell 與 container_auto（Debian 12，受控網路）、Agent Skills（SKILL.md）、server-side compaction、內建 web search / file search / computer use / MCP。

   但 OpenAI 自己的教學仍然是：呼叫模型 → 檢查 function_call → 自己執行 tool → 帶 previous_response_id 送回 → 重複。你仍然要做錯誤處理、非同步任務生命週期、成本計算、權限閘門、跨 session 狀態。發布 Astra 的同一篇裡，OpenAI 宣布「we are also updating the Codex harness」——連他們自己都還在養殼。

   所以該做的是拆換，不是拆掉：自己寫的 shell 沙箱、summarize、skill loader 可以評估換成 API 內建；loop、核准、成本、狀態留在你的殼裡。harness 選型的規則只有一條——用廠商自家的，除非你需要接地端模型或多供應商。harness fit 的差距方向確定、幅度未量化（法則 10）。

6. 法則 06先決定 runtime 落在哪

   產品	執行在哪	隔離	網路預設
   Codex CLI	你的機器	Seatbelt / bwrap + seccomp	關閉
   Codex Cloud	OpenAI 容器	每 task 乾淨 checkout，patch 回傳	agent 階段離線
   Claude Code CLI	你的機器	bubblewrap / seatbelt，檔案限 cwd	proxy 網域白名單
   Claude Code on the web	Anthropic 雲	每 session 獨立，金鑰在 sandbox 外	代理
   Cowork	Anthropic 雲可橋接你的電腦	session 容器	代理
   Claude Agent SDK	你的基礎設施	你自己負責	你自己負責
   Managed Agents	Anthropic 雲	他們管 session 與復原	他們管
   Responses API hosted shell	OpenAI 容器	container_auto，Debian 12	受控

   四條決策規則：要碰只有你機器碰得到的東西（本機 DB、VPN 內網、既有 git remote、未上傳資料）→ 地端；要平行跑、跑很久、要 clean room → 純雲；要雲端模型的判斷力但資料不能離開 → 混合；資料完全不能出境 → 只剩開源 harness 加地端模型，而那時瓶頸是模型能力，不是 harness。

   「地端」指的是 runtime，不是推論：模型權重還在雲上。Codex CLI 沒有在 OpenAI 那邊開 VM，會開的是 Codex Cloud。

7. 法則 07分清楚哪一層在做記憶，然後給它回饋

   「記憶」底下有十層東西，只有兩層會自己成長；而 CLI 那一層跟 chat / Cowork 完全不相通。把事實放錯層，就是每天重講一次。

   層	誰寫	會成長	作用範圍
   Context window	自動	否	單次 session
   Compaction	自動	否，只是壓縮	單次 session
   CLAUDE.md · AGENTS.md · rules/	你	否	跟 repo 走，可進 git
   Auto Memory	Claude	會	單 repo 單機器，不同步
   Personal memory	Claude	會	chat + Cowork，跨裝置（Claude Code 不在內）
   Project memory	半自動	會	該 project
   Chat search	自動	否，是檢索	帳號
   Skills · SKILL.md	你	否	跨 harness 可攜
   RAG · vector store	你	否	看你怎麼建
   外部 memory layer	看實作	看實作	你說了算

   歸位：專案技術事實進 CLAUDE.md 並進 git（跨機器有效、可 review diff）；跨專案的個人偏好交給 personal memory；可重複的流程寫成 skill——唯一換 harness 還在的一層。API 層沒有第一方的跨 session 記憶：compaction 是 session 內，container 隨 session 拆掉。

   然後是大多數記憶系統都缺的那一層：回饋訊號。它們記「發生了什麼」，不記「結果對不對」。權重凍結下的實證：把每次 episode 蒸餾成可檢索的自然語言規則，只靠成敗訊號是 1.6× baseline，加上事後修正是 2.6×，而且那份記憶換一個模型讀依然有效。可執行版本是在你的自動化迴圈裡多存一欄「這次可不可用」，失敗時把修正寫回去。（該研究只測單一領域，對照組是靜態 RAG。）

參 · 信任的邊界 — 監控與版本

看動作，不看解釋

8. 法則 08把文字紀錄降級成 UX，把動作紀錄升級成稽核

   那篇在時間線上傳開的 Astra 文章，敘述八成是錯的，但它最後兩條建議是對的，而且正好是 system card 支持的：

   • telemetry 從文字改成動作。模型的 CoT、摘要、「我剛剛做了什麼」都是給人看的介面，不是稽核紀錄。有執行權限的 agent，紀錄的是 syscall、網路請求、檔案 diff。
   • sandbox 預設網路關閉，按目的地逐一打開；有瀏覽器或終端權限的 agent 跑在受限容器裡。這正是 Codex CLI 與 Claude Code CLI 兩邊不約而同的設計：檔案與網路必須同時隔離，只擋一邊等於沒擋。

   依據：Astra 是 OpenAI 第一個達到網安 Critical 的模型；sandbagging 偵測器在被明確指示規避的對抗設定下失效超過 89%；system card 自己的話是「若模型想暗中 sandbag，我們很可能抓不到」。自主越界的實際數字是 500 次中 2 次——所以不是恐慌，是把稽核的依據換掉。

9. 法則 09釘住版本，養一組自己的回歸題

   靜默換版是預設狀態，不是意外

   一份涵蓋 16 家供應商的研究：沒有任何一家能證明「被評測的模型」等於「現在服務的模型」。DeepSeek 的 deepseek-chat 同一個 id，19 個月底下換了 10 個版本。9 家一方供應商中 8 家有 changelog，只有 1 家（Anthropic）精確指名被評測的版本，0 家能用公開資訊把部署中的模型對應回已發布的安全評測。

   權重部署後是凍結的，你的使用不會讓它變聰明；但「用久了它變了」不完全是錯覺——模型確實變了，不是因為你，是因為底下被換掉了。沒有固定基準，你會把供應商換版誤判成自己改壞了，反過來也一樣。

   做法：盡量使用有日期的版本識別；維護 20–50 題、覆蓋你真實任務形狀的回歸題；每次行為變化先跑它，再決定是改 prompt、關 skill 還是回報問題。法則 01 到 04 的每一次刪除，也用它驗收。

10. 法則 10自己的 workload 才是排行榜

    業界現在的共識是：一個公布的分數是「模型 × harness」這一對的屬性。poolside 直接承認 harness overfitting 是已知限制——模型在只差一點點的第三方 harness 裡會 struggle to adhere to tool schema definitions。但公開資料裡找不到同一個模型在不同 harness 下的對照實測：方向確定，幅度未知。ARC-AGI-3 上同一個 Astra，標準 harness 62.7%，Provider Adapter harness 99.9%。

    「換代」也一樣要拆開看。看到新模型宣稱新世代，按這個順序問：

    軸	要問的	權重
    新的 pretraining run	base model 有沒有重訓（Astra 有，Gemini 4 官方確認有）	高
    post-train / RL 配方	分數跳動的真正來源，也最不透明	高
    架構	有沒有官方證實（目前三家都沒有）	中
    訓練硬體	只決定產能與成本天花板	低

    小數點版號跟這四軸沒有穩定對應——Anthropic 今年的發布間隔是 21、24、39 天，Google 六週出了三個 Flash。至於「重心移到 post-train」：據報導唯一自己公布量化數字的是 Cursor（Composer 1.5 的 post-training compute 超過 pretraining），其餘是質性證據，沒有實驗室公布過佔比。準確的說法不是取代，是從一條軸變三條：pretrain 規模、post-train 配方、test-time compute。

    「差一個世代」的形狀，不長這樣

    GPT-6 Astra 對 Claude Fable 5.1，兩個都以最大推理設定評測

    GPT-6 Astra Claude Fable 5.1

    表格

    項目	GPT-6 Astra	Claude Fable 5.1	差距
    FrontierMath Tier 4 (v2)	97.6%	87.8%	9.8pp
    Terminal-Bench 4.0	57.7%	55.8%	1.9pp
    輸入 / 輸出（每百萬 token）	$10 / $50	$10 / $50	0