AI 知識

AI 變強,不一定換了腦袋:Harness Learning 改的是工作流程

先別急著問它換了哪個模型

同一個 AI,為什麼剛才還在亂猜,改幾個步驟後就能把工作做完?一個值得追問的地方,是它周圍的流程:拿到哪些資料、何時呼叫工具、工具回覆放到哪裡,以及錯誤能不能回到下一輪。

這不代表模型能力不重要,而是我們常把整個系統的改善,全算到模型頭上。把模型比喻成引擎,流程就像傳動、路線與儀表;引擎沒有換,行駛方式仍可以不同。這是理解用的比喻,不是研究者測量的機械實驗。

Harness 不是一段更長的提示詞

Harness 可理解成模型周圍的可執行工作流程。它安排模型呼叫、工具使用與資訊流,不只是一句「請再想清楚」。第一方論文第3與第4節描述:提出修改的模型,讀任務、現有程式與執行報告,再提交程式修改;修改後的流程接受測試,結果成為後續回饋。

本篇最重要的界線是時間點。研究在訓練階段會更新提出修改的模型;到了測試階段,提出修改與解題模型的權重都固定,繼續變的是流程程式。因此,「測試時不更新權重」不能寫成「整個方法從來不訓練模型」。

這也不是 AI 想改什麼就改什麼。研究用既定任務、回饋與選擇規則;不同實驗的候選保留方式也不完全相同,不能概括成每一輪只會越改越好。作者專案頁提供方法與實驗導覽。

小模型勝過老師,勝在哪個比較?

論文第5.2節在21個未見推理任務族的單次修改比較中,訓練後4B提案模型平均得分為0.62,35B老師為0.56;但如果事後用隱藏評測分數挑八個候選中的最好一個,老師更高。這個oracle挑選不是部署時自然知道正解的能力。

所以合理讀法是「這個修改流程的任務、這套比較口徑中,平均提案表現較好」,不是「4B所有能力勝過35B」。這些分數也不是所有實際使用情境的成功率。模型、任務、評測口徑與挑選方式,都要一起讀。

對使用者來說,比起追逐參數大小的輸贏,更實用的問題是:我看到的進步,到底是解題能力、工具可用性,還是更會挑出少數成功例?這三種改善有不同的成本與限制,不能只留一張勝負標題。

一個改流程的教學例子

以下是原創、虛構的教學情境,不是論文案例或實測。假設你讓 AI 整理一份活動名單,舊流程讀完資料就直接輸出,偶爾把缺少日期的列當成已確認項目。

你可以先不換模型,改成讀取資料後檢查必填欄位,缺日期就列為待確認;完成後再核對輸出筆數與原始列數。這是「改工作流程」的例子,不是保證加檢查就能消除所有錯誤,也不是已證明能複製研究成效。

若只是把原本那份名單反覆改到正確,你只知道它更熟悉這份資料。要判斷改法是否可用,還得拿沒用來調整流程的新名單,保留相同驗收條件。不要一邊換模型、一邊換資料、一邊改標準,再把結果全部歸因於流程。

收藏這張五問檢查表

下表是本篇原創的閱讀與試用建議,並非研究者發布的標準。

檢查問題 要留下的證據 常見誤判
模型本身變了嗎? 模型版本與設定 流程改善全算成模型升級
流程改了什麼? 修改前後的步驟或程式差異 只說「AI自我進化」
回饋依據是什麼? 測試輸入、判定方式與失敗紀錄 只看一段漂亮回答
新題也有改善嗎? 未拿來調整流程的測試結果 把熟題當成泛化
代價與退路呢? 呼叫次數、耗時與原版本 分數提高就認定更划算

實際試用時,先固定一個小任務與驗收方式,保存原流程,逐項看改動與新題結果;如果資料外送、工具權限或外部寫入不明,先停在只讀或受控測試。這些是本篇建議,不是本文已完成的安全驗證。

分數上升,不代表可以無限放手

這份研究展示的是特定推理與多跳問答實驗,不是每種長時間工作都已驗證。論文也把更長的工具使用軌跡等列為未來方向;不能據此聲稱任何應用都會更便宜、更安全或自動修好。

流程能改,是新的能力;流程改完是否值得保留,仍需要可核對的證據。對 AI 的期待可以很高,但不要把「改得動」直接當成「改得對」。下次看到 AI 變強,先問它動了哪一層,然後用沒見過的題目,查那份進步是不是真的留得住。

作者:奧微軟體編輯整理。本文為研究解讀與原創教學建議,非服務案例或研究實驗重現;奧微提供軟體開發相關服務,但本文無商業導入主張或服務CTA。

來源與查核日:2026-10-14;第一方論文v1、作者專案頁。未驗研究程式安裝、獨立重跑、實際任務效果、成本與安全性。

回文章列表