本地模型已經能取代雲端？我讓 Qwen3.8 flash next 和 GPT 玩同一款遊戲，終於知道 Benchmark 為什麼不能全信了

[fanweng-code]

@wml-ai
雲端模型經短時間實測是可以的(GPT6-Astra)
但把周額度用在讓他打遊戲就有點本末倒置了
這種突發奇想還是需要不用錢的本地模型來執行才好玩啊

[he wanga]

很有趣的實驗，我覺得陌生環境下的computer-use也算是很考驗模型智能度的一個準則，
未來我也想像你一樣搭建幾個computer use + vision下的task (例如點色塊、貪吃蛇、打磚塊、象棋)
同時測試模型的 滑鼠+鍵盤+延遲+智能這幾個綜合評估的分數
不過我在想你的case有沒有可能是量化或是temperature的問題？會不會跑滿血qwen效果差的很多 (因為你比較的雲端模型都是滿血版)
不過我覺得以現在模型的進化速度，下一代qwen 4.0搞不好就能解了

[kos or]

自己探索陌生環境，而且能越做越熟練？

ARC AGI 的測試題目好像就是這種類型, GPT Astra拿到非常高的分數
理論上是做得到的，但要非常強大的硬體設備和多個Agents當後援在周遭配合，頂尖實驗室應該就有這樣的配置

[johnnybegood]

这需要你的耐心，8岁小孩的智力你能接受的话，你要等八年。 那为什么希望ai能在8分钟就那么聪明呢

[fanweng-code]

@kos-or

我確實今天才感受到Astra跟其他模型的差距，平常拿來coding沒有什麼明顯的差異

過幾天我再拿Opus 5.5或是Sonnet 5.5來測，目前A家的周額度被我燒光了

@he-wanga

因為是突發奇想的實驗，就沒去測不同量化下的差異了，目前是使用 4/8bit mix

滿血版可能不會去測吧，先拿手邊有的模型跟訂閱來玩一下

[fanweng-code]

@johnnybegood

我懂您的意思

但有個智商很高的教授(Gemini 4)連進入遊戲都有問題，讓我非常困惑

Qwen 3.8 flash next關閉思考後，他會拿著手牌操作一個小時都無法正確地把牌丟出去，可能等不到他真的打完一小關了吧

[imbiplaza ASUS]

等我们得空，大家一起用agent连线，打counter strike,我们放置电脑直播，看看ai怎样操作

[kos or]

@fanweng-code said:

我確實今天才感受到Astra跟其他模型的差距，平常拿來coding沒有什麼明顯的差異

這個實驗很好 要不然測試的項目太少了 或單調

各家模型強化訓練的共同商業方向 大概就chat, coding, agentic,
其他應用的話 可能略有不同, 但以ARC AGI的考題來說 Astra的確是明顯訓練過很強的

例如3D建模類的Astra應該很優秀

這概念類似李飛飛的 World Model, 或許OpenAI公司在技術路線上有整合了World Model的概念
剛好未來GPT可以藉此進軍機器人市場

[dardeaw feng]

這是新領域 你這樣的測試很好
不然其實大部分的模型在過去的領域都已經是拿著答案在做題目了
真的碰到陌生任務誰幹活代價低 誰就能勝出

[johnnybegood]

@imbiplaza-ASUS 我打cs还得过wcg的奖项哦，嘿嘿

[imbiplaza ASUS]

@johnnybegood

我打cs 还可以追到年轻美眉呢

[johnnybegood]

@imbiplaza-ASUS 我输了

[fanweng-code]

@dardeaw-feng @kos-or

不知道Harness對模型能力的影響有多少?

例如改用Codex或是Deepseek Harness來執行，結果會變好還是變差?!

光想就很有趣

但去測花的時間比單純跑幾張SVG還有解數學題還要麻煩

遊戲無法背景執行，因此畫面就要給LLM霸佔了

[dardeaw feng]

@fanweng-code agent影響任務下限 而模型影響的是上限
智商的地板被harness影響
智商的天花板是LLM模型決定

[kos or]

@fanweng-code said:

例如改用Codex或是Deepseek Harness來執行，結果會變好還是變差?!

看任務類型
需要創意的話 不要限制LLM太多 給LLM自由發揮的空間
需要穩定的話 不誤刪除檔案 就要有嚴格的邊界限制 (設下各種規定 這不能做 那不能做)

我的Hermes 就被設限了許多邊界，所以跑起來一開始會比較吃力(system prompt大)
我比較喜歡Codex循規蹈矩的辦事風格 所以Hermes 是由Codex設定的

Codex講求穩定, DSH比較像快刀手, 感覺效率比較高

[dardeaw feng]

@kos-or
其實不要一直盲目加提示詞，不然每次都餵進去LLM，
盡可能地對提示詞減肥，可以省prefill壓力跟KV空間，
而且模型都有注意力機制的盲點，有一定機率會被忽略掉

如果真要限制啥寫個plugin在agent直接用cpu運算python攔住校正是最快又經濟的

提示詞是軟的 plugin是硬的 我都來硬的

[kos or]

@dardeaw-feng

好喔 我再學學來硬的
plug in

[dardeaw feng]

@kos-or 你就罵agent說plug in my dsh~ 要硬的喔
舉個例子 三次同樣的指令就叫他硬攔截 這個測成功 你之後其他的就比照辦理

[kos or]

@dardeaw-feng

OOXXX 笑翻

[fanweng-code]

https://lcz.me/post/26015

後續測試發了第二篇