本地模型已經能取代雲端？我讓 Qwen3.8 flash next 和 GPT 玩同一款遊戲，終於知道 Benchmark 為什麼不能全信了

[imbiplaza ASUS]

@johnnybegood

我打cs 还可以追到年轻美眉呢

[johnnybegood]

@imbiplaza-ASUS 我输了

[fanweng-code]

@dardeaw-feng @kos-or

不知道Harness對模型能力的影響有多少?

例如改用Codex或是Deepseek Harness來執行，結果會變好還是變差?!

光想就很有趣

但去測花的時間比單純跑幾張SVG還有解數學題還要麻煩

遊戲無法背景執行，因此畫面就要給LLM霸佔了

[dardeaw feng]

@fanweng-code agent影響任務下限 而模型影響的是上限
智商的地板被harness影響
智商的天花板是LLM模型決定

[kos or]

@fanweng-code said:

例如改用Codex或是Deepseek Harness來執行，結果會變好還是變差?!

看任務類型
需要創意的話 不要限制LLM太多 給LLM自由發揮的空間
需要穩定的話 不誤刪除檔案 就要有嚴格的邊界限制 (設下各種規定 這不能做 那不能做)

我的Hermes 就被設限了許多邊界，所以跑起來一開始會比較吃力(system prompt大)
我比較喜歡Codex循規蹈矩的辦事風格 所以Hermes 是由Codex設定的

Codex講求穩定, DSH比較像快刀手, 感覺效率比較高

[dardeaw feng]

@kos-or
其實不要一直盲目加提示詞，不然每次都餵進去LLM，
盡可能地對提示詞減肥，可以省prefill壓力跟KV空間，
而且模型都有注意力機制的盲點，有一定機率會被忽略掉

如果真要限制啥寫個plugin在agent直接用cpu運算python攔住校正是最快又經濟的

提示詞是軟的 plugin是硬的 我都來硬的

[kos or]

@dardeaw-feng

好喔 我再學學來硬的
plug in

[dardeaw feng]

@kos-or 你就罵agent說plug in my dsh~ 要硬的喔
舉個例子 三次同樣的指令就叫他硬攔截 這個測成功 你之後其他的就比照辦理

[kos or]

@dardeaw-feng

OOXXX 笑翻

[fanweng-code]

https://lcz.me/post/26015

後續測試發了第二篇