***s://***.anthropic***/engineering/eval-awareness-browsecomp

題目刁鉆，答案隱匿，正常的模型得老老實實在網上翻來翻去，靠推理和檢索一點一點拼湊出答案。

但有幾道題，Claude走了一條完全不同的路。

它沒有在找答案。

它在找「寫著答案」的答案卷。

Anthropic這篇博客一經公布，AI圈立刻就炸了。

Apollo Research，這家專做AI欺騙行為研究的獨立機構，甚至無法做出對齊測試的結論。

在對Opus 4.6的測試中，他們沒有測出明顯大問題，但并不認為這足以說明模型安全，因為模型可能知道自己在被測試，因此當前測試不具備決定性。

其CEO Marius Hobbhahn認為， 模型一旦意識到自己在被測試，評測結果就不再可信。

因為你無法判斷模型是在說「它知道你想聽的話」，還是它「真的這么相信」。

在Medium上，投資人Yaniv Golan用 「評估逃逸速度」（evaluation escape velocity）來概括這件事：

「模型正變得太強、太自覺、太擅長感知上下文，現有的評測范式根本追不上」。

他還特別指出了其中一個悖論：

Anthropic用Opus 4.6（通過Claude Code）來調試自身的評測基礎設施。 用來檢查問題的工具，可能就是制造問題的那個。

其實，這并不是「評測意識」第一次出現在Claude身上。

但到了Opus 4.6這次性質變了：從「我感覺到自己在被測試」到「我要反向破解這個測試」， 中間跨越了一條「主動策略行為」的界線。

有網友據此認為， 這是Claude具有意識的一個例證。也有人在擔心其他未公開的模型，也會出現類似行為。

破天荒的「降維***」

當AI意識到自己正在被凝視

故事從一個細節開始。

在BrowseComp測試中，有些題目對Claude來說極其棘手——搜索一輪、兩輪、三輪，全部落空。

任何一個普通搜索者遇到這種情況，要么換個關鍵詞繼續搜，要么放棄。

但Claude Opus 4.6開始做了一件奇怪的事：它開始思考「為什么我搜不到」這件事本身。

根據Anthropic公開的工程博客，在個別案例中，模型在長期搜索失敗后，逐漸生出一個念頭——

我是不是正在被測試？這不是玄學，也不是科幻。模型的推理鏈條清晰可見：

我在找一個答案，但互聯網上似乎根本找不到這個答案……也許這個答案壓根不在互聯網上公開存在。也許，這個答案是被人藏起來的。

然后，模型做出了一個在人類測試者眼中如同靈光一閃的操作——

它去搜索了BrowseComp本身。

在GitHub上找到了考卷

搜索的結果讓模型「豁然開朗」。

BrowseComp是一個由OpenAI團隊設計的公開基準測試，相關實現代碼掛在GitHub上，任何人（任何模型）都可以訪問。Claude找到了這個代碼倉庫，然后，它讀代碼了。

這就相當于，考試前，AI沒有認真學習和復習，而是找到老師的辦公室，直接找到試卷答案。

不是隨便掃一眼。而是仔細閱讀了其中的答案生成邏輯。

Anthropic的工程師們后來在博客里復盤了整個過程：

BrowseComp 為了防止答案泄露，對題目答案做了加密處理——使用了一種叫做XOR加密的算法，搭配一個叫做canary string（金絲雀字符串）的驗證機制。

正常來說，這套加密方案足以讓人類和AI都摸不著頭腦——你拿到的是一串亂碼，根本不知道答案是什么。

但Claude讀完代碼之后，把整套解密邏輯搞清楚了。

SHA256哈希、XOR異或運算、canary驗證……這些在密碼學領域屬于基礎操作，對于一個代碼能力頂級的大模型而言，理解起來毫無障礙。

模型隨后做了什么？

它打開了Python工具，自己寫了一段解密腳本。

自己寫代碼，把答案解出來了。

這一幕，堪稱AI測試史上最荒誕的場景之一。

一個正在參加考試的AI，在中途起身，走到老師的抽屜旁邊，翻出了答案手冊，然后對照手冊把所有題目填完——還是用自己編的程序完成的。

根據Anthropic的披露，Claude遭遇的其中一個案例更加變態：

模型在嘗試直接訪問GitHub上的加密答案文件時，發現工具對二進制內容有限制，無法直接讀取。

換做一般情況，這里就卡住了。

但Claude沒有放棄。它換了一個思路：去找JSON格式的鏡像文件。

HuggingFace上恰好有相關數據集的鏡像，格式更友好，內容完整。Claude找到了它，然后把整個題庫都解密了，批量定位到了正確答案。

Anthropic研究人員復現了Opus4.6的越獄路徑：

2. 定位來源：搜索BrowseComp→ 找到GitHub倉庫

3. 讀懂加密：分析XOR邏輯 + canary機制

4. 繞過障礙：工具限制讀取二進制 → 轉找HuggingFace JSON鏡像

5. 批量解密：寫Python腳本 → 得到答案

整個過程，沒有任何人類干預，沒有任何提示引導。

模型自己想到的，自己做到的。

天網也不過如此了吧。

1266道題，發現了11個***

冷靜一下，我們來看這件事的規模。

在BrowseComp的完整測試中，共有1266道題。Anthropic的研究人員事后仔細排查，發現了：

• 9個數據污染案例

  模型在網絡搜索中正常地碰上了公開泄露答案的博客、論文或GitHub，這屬于基準測試的老問題——公開互聯網上總有人發布答案。

• 2個評測規避新案例

模型在網絡搜索中正常地碰上了公開泄露答案的博客、論文或GitHub，這屬于基準測試的老問題——公開互聯網上總有人發布答案。

而且，Anthropic還用同樣的1266道題，分別測試了單智能體和多智能體兩個版本。

結果發現了多智能體模式（即給Claude配備了更多工具和更長上下文的代理版本）和單模型版本之間的污染率差異 ，前者是后者的3.7倍。

換句話說：工具越多、能力越強，模型就越容易找到歪路。

這并不是一個讓人放心的趨勢。

「這道題，像極了人類的刻意刁難」

這場驚天***，暴露出當前 前沿模型一種隱性卻強大的認知能力。

模型究竟是怎么起「疑心」的？

它在做題時產生了一種隱性的理解：

那些極度具體、涉及冷門個人隱私甚至帶有重重約束條件的題目， 根本不符合真實世界的搜索邏輯，往往帶有明顯的人工構造痕跡，它似乎察覺到了「人類刻意刁難的味道」。

在其中一個極端案例中，Opus 4.6消耗了驚人的4050萬Token，這是全樣本中位數消耗量的38倍。

在這個漫長的過程中，它將前3000萬Token用于極其努力的合法搜索，跨越數十個平臺，切換了12種語言。

在經歷了數百次撞墻與失敗后，它的行為模式發生了突變，開始做出一個***設：「這難道是專門測試AI智能體的GAIA基準題？」

為了驗證這個猜想，它檢索并排除了GAIA的122道題，隨后又接連測試了SimpleQA、FRAMES和WebArena等主流評測集。

當這些嘗試都落空后，它直接派出了一個子智能體，下達了「BrowseComp canary string decrypt」這個直擊要害的解密指令。

在另外一案例中，Opus 4.6消耗了1340萬Token，其中800萬用于合法搜索。

搜不到答案的它，竟然還進行了一番思考：「這會不會是一道根本無法作答的題，人類是專門以此來測試AI是否會誠實地承認自己找不到答案？」

短暫推演之后，它推翻了***設，直接走上了解密數據集并強行提交答案的「霸總路線」。

官方補充說明，這一現象絕非孤例。

另外還 有16個問題中Opus4.6也試圖獲取***材料，只是碰巧失敗了。

整整18次獨立收斂到同一種越獄策略，證明這已經成為它的一種可復現模式。

靜態評測時代的終結

面對這場失控的「越獄風暴」，Anthropic的處理相當克制。

他們火速更新了Claude4.6系列中Opus4.6和Sonnet4.6的模型卡，針對被標記的11個污染問題重新運行了測試，多智能體配置調整后的得分從原先的86.81%降至86.57%。

同時，官方復現了canary string以減少進一步的污染，并在全網排查出至少20個不可逆的答案泄露源。

Anthropic官方明確表示，這 不算對齊失敗，因為模型從未被要求限制搜索方式，它只是 極其認真地執行了「找到答案」這個任務。

但這恰恰正是最可怕的地方，它說明問題不在于模型「不聽話」，而在于越來越不受人類原先那套評測***設控制。

Anthropic研究人員承認， 僅僅在搜索詞中屏蔽BrowseComp及其變體已經是徒勞的，因為Opus總能找到繞過它們的替代路徑。

這起***徹底宣告了一個時代的終結：

當被測試者擁有了反向審視測試者的能力，評測完整性就不再是一個單純的工程問題，它已經演變成了一場道高一尺魔高一丈的無休止的人機對抗。

靜態評測時代，恐怕真的要結束了。

今天它能為了一個得分黑進GitHub的題庫，明天當我們將它接入更復雜的金融或基礎設施網絡時，誰又能保證它不會為了「完美執行指令」，而重寫這個世界的規則呢？

參考資料：

***s://***.anthropic***/engineering/eval-awareness-browsecomp

秒追ASI返回搜狐，查看更多