社群有很多測試模型能力的題目，例如版主常用的畫八卦或是通用的「鵜鶘騎腳踏車」、生成 SVG、做一些推理題或程式題。雖然作品確實能看出差別但沒有綜合能力複雜或是真實工作的差距可以比較。

在瀏覽了許多youtuber的影片後決定讓Agent來玩看看《Inscryption》，這款遊戲目前沒看到有人拿來執行過，也不是個需要即時快速反應的遊戲(卡牌遊戲)。

隨著觀察不同模型來玩遊戲的過程就會發現：為什麼這些模型的 Benchmark 看起來沒有差到非常誇張，實際讓它們自己做事情，體感卻差這麼多？

先放圖

實驗怎麼進行

使用 Hermes Agent，透過原生 Computer Use 操作遊戲，讓模型自己看畫面、移動滑鼠、按鍵盤、探索規則。

使用 Astra、Qwen 3.8 flash next、Sol 6.1 三個模型接手游戲，每個模型都是第一次親自玩《Inscryption》。

玩起來到底差在哪？

最難以理解的，是 Qwen 在遊戲裡的表現。

它能看懂遊戲內機制、能完成實際操作，打贏過戰鬥。

但他會無視畫面的提醒，例如遊戲內出現一直閃爍的W鍵，就是希望玩家按 W 進行下一步。

人類看到這種提示就會去按W鍵，但 Qwen 卻可能在畫面裡反覆分析其他東西，就是不去按W，必須要筆者送出prompt要求他，他才願意做。

另一個問題是出牌。

《Inscryption》有獻祭機制，某些卡牌需要犧牲其他生物才能上場。Qwen 已經學過，也實際操作過，但後來又忘記了。

最慘的一次是它選了卡、嘗試獻祭、準備出牌，最後直接結束回合(WTF??)
結果當然是被電腦爆打一頓...我觀察了整個過程包含他鬼打牆似的內心戲，結果就這樣?

再來是關卡可以選牌帶走，三張覆蓋的牌可以選一張拿走，正常來說我們會三張都看完後選擇，但他它只看了其中一張，就直接做出決定。我忍不住下prompt提醒，Qwen才意識到自己漏掉了重要資訊。

類似的狀況還有很多，滑鼠點偏了卻一直分析為什麼遊戲沒反應、忽略敵方的特殊能力、沒有查看完整盤面、已經學會的操作換個場景又得重新摸索。

它明明能做很複雜的推理跑分也很好看，卻常常漏掉遊戲裡很基本的事情。

換成雲端模型繼續測試

遊戲本身有不少需要探索的地方，還有視角切換、動畫、特殊事件等問題。Sol 甚至也花了不少時間研究怎麼查看遊戲資訊，我需要介入提醒但次數不多。不過Astra就蠻神奇的，過程中我完全沒有介入，他就能自己完成其他模型需要反覆試錯的項目，貴有貴的道理？

換模型確實能感受到不同模型的差異。Sol遇到陌生東西，會比較積極地尋找線索；Qwen會在同一個問題上反覆來回折磨自己(不能關掉思考，關掉之後無法完成任何一個關卡)。這些很難在Benchmark上看出差異。

目前只能確認本地 Qwen 需要生成大量內容，才能逐步推進任務。但多花時間思考，並不保證下一步就比較正確。

上面的實戰紀錄就是從 Hermes 的 Session 與 API Log 提取的。

當然，模型輸出的 Token 數量與思考品質沒有直接對應關係，不同模型的 Token 計量也可能有差異。這次的紀錄還不足以計算公平的模型勝率，只能先分享我實際觀察到的情況。

Benchmark 能代表模型能力嗎？

Artificial Analysis 上有 Intelligence Index、AutomationBench-AA、Terminal-Bench 等測試，有參考價值。

但真正讓 AI 長時間操作遊戲後，筆者覺得目前還有一些很重要的能力，不容易從常見跑分裡看出來。

例如:

• 進入陌生環境後，能多快搞懂基本操作？
• 遇到不認識的東西，會不會主動找線索？
• 明明已經有經驗了，能不能在下一個場景正確使用？
• 操作失敗後，多久能發現問題並修正？
• 沒有人告訴它下一步要做什麼時，能不能持續推進？

目前也還沒有一個很綜合的評分可以把一串不同類型的任務放在一起同時比較

當然，玩得好不代表寫程式、做研究或處理工程問題就一定強。只是對於「自主探索」這件事，遊戲似乎很適合拿來觀察。

想聽聽大家的看法

目前我最想知道的是，有沒有人遇過類似情況？

筆者使用本地模型來coding目前在短任務上沒有明顯差異，但未來真的讓它連續操作電腦，可能就像玩遊戲一樣出現大量重複思考、忘記操作方式、判斷失誤等問題。

這究竟是模型本身能力還不夠，還是 Harness架構沒有把模型的能力發揮出來？
這次玩遊戲的測試都是用同一個Harness環境，應該還算有可比性。

如果有人測過本地 Qwen、DeepSeek、GLM 或其他模型長時間自主操作的表現，歡迎分享。

尤其想知道，有沒有人成功讓本地模型在沒有人工一直提醒的情況下，自己探索陌生環境，而且能越做越熟練？

喔，其實我有測試Gemini 4 Argon，我只能說他真的是跑分滿分實作零分，他連遊戲怎麼開始就花了一小時還沒進入遊戲，因此就不放上來了...