本地模型已經能取代雲端？我讓 Qwen3.8 flash next 和 GPT 玩同一款遊戲，終於知道 Benchmark 為什麼不能全信了

johnnybegood

这需要你的耐心，8岁小孩的智力你能接受的话，你要等八年。那为什么希望ai能在8分钟就那么聪明呢

fanweng-code

我確實今天才感受到Astra跟其他模型的差距，平常拿來coding沒有什麼明顯的差異

過幾天我再拿Opus 5.5或是Sonnet 5.5來測，目前A家的周額度被我燒光了

因為是突發奇想的實驗，就沒去測不同量化下的差異了，目前是使用 4/8bit mix

滿血版可能不會去測吧，先拿手邊有的模型跟訂閱來玩一下

fanweng-code

我懂您的意思

但有個智商很高的教授(Gemini 4)連進入遊戲都有問題，讓我非常困惑

Qwen 3.8 flash next關閉思考後，他會拿著手牌操作一個小時都無法正確地把牌丟出去，可能等不到他真的打完一小關了吧

imbiplaza ASUS

等我们得空，大家一起用agent连线，打counter strike,我们放置电脑直播，看看ai怎样操作

kos or

@fanweng-code said:

我確實今天才感受到Astra跟其他模型的差距，平常拿來coding沒有什麼明顯的差異

這個實驗很好要不然測試的項目太少了或單調

各家模型強化訓練的共同商業方向大概就chat, coding, agentic,
其他應用的話可能略有不同, 但以ARC AGI的考題來說 Astra的確是明顯訓練過很強的

例如3D建模類的Astra應該很優秀

這概念類似李飛飛的 World Model, 或許OpenAI公司在技術路線上有整合了World Model的概念
剛好未來GPT可以藉此進軍機器人市場

dardeaw feng

這是新領域你這樣的測試很好
不然其實大部分的模型在過去的領域都已經是拿著答案在做題目了
真的碰到陌生任務誰幹活代價低誰就能勝出

johnnybegood

@imbiplaza-ASUS 我打cs还得过wcg的奖项哦，嘿嘿

imbiplaza ASUS

我打cs 还可以追到年轻美眉呢

johnnybegood

fanweng-code

不知道Harness對模型能力的影響有多少?

例如改用Codex或是Deepseek Harness來執行，結果會變好還是變差?!

光想就很有趣

但去測花的時間比單純跑幾張SVG還有解數學題還要麻煩

遊戲無法背景執行，因此畫面就要給LLM霸佔了

dardeaw feng

@fanweng-code agent影響任務下限而模型影響的是上限
智商的地板被harness影響
智商的天花板是LLM模型決定

kos or

@fanweng-code said:

例如改用Codex或是Deepseek Harness來執行，結果會變好還是變差?!

看任務類型
需要創意的話不要限制LLM太多給LLM自由發揮的空間
需要穩定的話不誤刪除檔案就要有嚴格的邊界限制 (設下各種規定這不能做那不能做)

我的Hermes 就被設限了許多邊界，所以跑起來一開始會比較吃力(system prompt大)
我比較喜歡Codex循規蹈矩的辦事風格所以Hermes 是由Codex設定的

Codex講求穩定, DSH比較像快刀手, 感覺效率比較高

dardeaw feng

@kos-or
其實不要一直盲目加提示詞，不然每次都餵進去LLM，
盡可能地對提示詞減肥，可以省prefill壓力跟KV空間，
而且模型都有注意力機制的盲點，有一定機率會被忽略掉

如果真要限制啥寫個plugin在agent直接用cpu運算python攔住校正是最快又經濟的

提示詞是軟的 plugin是硬的我都來硬的

kos or

好喔我再學學來硬的
plug in

dardeaw feng

@kos-or 你就罵agent說plug in my dsh~ 要硬的喔
舉個例子三次同樣的指令就叫他硬攔截這個測成功你之後其他的就比照辦理

kos or

OOXXX 笑翻

fanweng-code

後續測試發了第二篇

抡锤者