AI 知識

AI Agent 真的會工作了嗎?真實工作流測試給了一個現實答案

AI Agent 這幾個字,這一年幾乎被講到過熱。

很多產品展示看起來都很接近「把需求丟進去,AI 自己完成工作」:它能開瀏覽器、能寫程式、能讀文件、能呼叫工具,也能在螢幕上做出一連串操作。於是問題很自然地出現:如果 AI Agent 已經這麼強,企業是不是很快就能把一整段工作交出去?

最新的 Agents' Last Exam 把這個問題拉回現實。

這個測試不是叫 AI 回答幾題選擇題,也不是看模型能不能在單一程式題上拿高分。它測的是更接近真實工作的能力:長流程、多步驟、多工具,最後還要交出可驗證成果。

結果很刺眼。

在最難的測試層級,主流 AI agent 的平均完整通過率只有約 2.6%。即使看整體表現,頂尖 agent 也還不是能把工作完整接走的狀態。

這不是在說 AI 沒用,而是在提醒我們:會回答問題,不等於會完成工作。

為什麼真實工作流特別難?

真實工作很少是「問一句,答一句」。

一個真正有價值的任務,通常會包含拆需求、找資料、選工具、操作系統、產出中間結果、檢查錯誤、修正方向、重新驗收,最後交出可以被別人接手的成果。

這裡面最難的地方,不只是生成文字或程式碼,而是「一路做下去」。

AI agent 很容易在 demo 裡看起來很強,因為 demo 通常會把環境、資料、流程、成功標準都先整理好。可是企業現場不同。真實流程常常有例外、有不完整資料、有系統限制,也有模糊的人類判斷。

這就是為什麼 Agents' Last Exam 這類 benchmark 重要:它不是只問 AI 會不會做題,而是問 AI 能不能在接近真實工作的環境裡完成交付。

2.6% 代表什麼?

2.6% 不是「AI 只有 2.6 分」。

更精準地說,它代表在最難的一層真實工作流測試中,完整通過仍然非常困難。這裡測的是長流程任務,不是單一問答。

換句話說,今天的 AI 已經可以在很多局部環節提供價值:整理資料、生成初稿、寫測試、輔助分析、做初步規劃。

但如果要它自己把整件事從頭做到尾,並且穩定交出可驗證成果,目前還不能太樂觀。

企業真正該學到什麼?

這個結果對企業的提醒很直接。

現在最值得投資的,不是幻想把人全部拿掉,而是把 AI 放進可控流程裡。

好的 AI 工作流,應該讓 AI 處理可拆解、可驗證、可回滾的部分;讓人負責任務定義、品質判斷、風險控管與最後決策。

真正有效的導入,不會只問「這個模型多強」,而會問:

  • 這個任務能不能拆成明確步驟?
  • 每一步有沒有可驗證的輸出?
  • AI 做錯時,誰能看得出來?
  • 系統有沒有保留紀錄與回滾機制?
  • 最後成果誰負責驗收?

如果這些問題沒有回答清楚,再強的模型也可能只是在流程裡製造更多看似完成、但其實需要人補救的工作。

AI Agent 還是很重要

這並不代表 AI Agent 不值得期待。

相反地,這代表下一階段的競爭會更務實:不是誰的 demo 最炫,而是誰能把 agent 放進真實流程裡,讓它穩定地處理工作的一部分,並且能被人有效監督。

未來真正值錢的能力,可能不是單純「會提示 AI」,而是會設計工作流、會拆任務、會建立驗收標準,也會知道哪些事情不該交給 AI 自己決定。

AI Agent 的終點不是一個會講漂亮話的助手,而是一個能在複雜流程中被可靠使用的工作節點。

只是從現在的測試結果來看,我們還沒到那一天。

如果一個 Agent 在 demo 裡看起來很漂亮,但進到真實工作就開始卡住,你會放心把完整任務交給它嗎?

回文章列表