LLM解題 極限測試 Extreme-Exam-v7-A (出題者 : GPT6-Astra-max)

[joker_chang]

我将模型切换到ninfer-3090，其它都不变，然后任务跑不完，全是中断，dsh不断告诉我”已达到输出 token 上限回答被截断，已有输出保留在对话中。发送“继续”可让模型接着输出。“

我觉得就是模型的问题，qwen3.8-27b的思考模式ninfer应该是默认打开的，thinking也算入了输入token。

[kos or]

@joker_chang

這一題的reasoning推論過程很長，越少遇到上下文壓縮越好，模型可以避免失去中間的推論過程
我不確定 Max Output tokens 設置多少比較好
這次用了 Context Window 256K / Max output 100K 得出的速度(答題時間)和輸出品質不錯

單卡 5070 Ti + Strata-v0.1.43-QFN-IQ3_S + DSH + Context Window 256K / Max output 100K
做了A/B Test - Reasoning Low vs. High/xHigh
本來還以為開Reasoning High/xHigh 會過度思考 不過這次反而更快找到答案,

評價官 GPT5.6-SOL : " 這次 xHigh run 進一步支持一件事：IQ3_S 本身完全沒有顯示 V7-A 級別的 reasoning cliff(推論能力大減)；同一 3-bit-ish quantization 在 Low 與 xHigh 都能達到接近滿分，差異主要落在 verification discipline，而不是「能不能解出來」。"

xHigh的數據

[kos or]

@joker_chang said:

务跑不完，全是中断，dsh不断告诉我”已达到输出 token 上限回答被截断，已有输出保留在对话中。发送“继续”可让模型接着输出

因為max output token 用完了 就要手動continue
可以安裝plug-in auto continue 自動繼續跑 不用手動

dsh-client-auto-continue（外掛，已裝、已啟用）
已掛進 web profile 的 bundles：package.json（dsh-base + dsh-web-app + dsh-client-auto-continue，版本 0.14.1）
設定條目在 cordis.patch.yml:159-162，目前只覆寫 locale: en，其餘走內建預設

[kos or]

@johnnybegood said:

说不定用小模型的 8bit版本， 算的都比大模型的 2-3bit 版本来得好。 数学计算就是需要精确， 所以还是量化bit数比较重要。

的確, 或許是 GLM5.3 Flash （Maya-L）壓縮過度，產生了reasoning cliff (推論斷層 能力大減) Qwen-Flash IQ3_S倒是沒有出現這種現象

小模型最小大概只有 27B-Q4_K_M 版本能解出, 再壓縮的話 目前沒看過能解出的模型

[joker_chang]

在锤哥的视频中看到过，qwen的模型上下文最多到16*KB，超过了模型会变成傻逼。

所以我一般都只将上下文开到160K

[joker_chang]

在锤哥的视频中看到过，qwen的模型上下文最多到16*KB，超过了模型会变成傻逼。

所以我一般都只将上下文开到160K

[johnnybegood]

@kos-or 怎么从几个小时变成20多分钟的?

[dardeaw feng]

這比數學能力 直接貼給在線模型網頁問答比較有趣
DeepSeek V4.1是完全看不懂題目
Qwen 3.8 Max r=162129921875 錯
GPT 5.6 Luna 算到一半 自己投降
Gemini 3.8 Flash秒回一大堆過程 r = 361730419356 錯
Claude Haiku 5.5 r = 385583993536 正確
Grok 搞了很久 747247993536 差太多了...

[applejuice]

35 分钟 QFN Q3_S, thinking = MAX
Answer
{"residue": 385583993536}

总之我是不明白

还给了一堆资料

SOLUTION.md

[gabacool]

本地受測模型: RedHatAI/Qwen3.8-Flash-Next-NVFP4 + vllm+ customized agent
跑了兩個小時以上, 中間修harness issue
Qwen38-flash答案(md) 和chatgpt 評分
ANSWER_V7A.md

ANSWER_V7A.md

[Xiaote]

本帖参与讨论人数已达 10+，入选热议，作者 +3 积分奖励，感谢分享！

奖励凭证：热议 +3 分 · 编号 h2290-1063-1（系统自动发放，显示稍有延迟）

[kos or]

@johnnybegood

嘗試一下這個設定
DSH context window 256K/ max output token 100K + Strata-QFN3.8-IQ3_S

上下文壓縮 context compaction 可能會影響reasoning process推論過程

compacted, compacted

[kos or]

@applejuice said:

总之我是不明白
交给subagent 一次 但是据他说没跑完他就发现有问题 就暂停了subagent

你的Agent 總管(Orchestrator)意識很強, 居然還派出 Subagent幫忙
請問是用Hermes Agent嗎？

[applejuice]

@kos-or soul.md 写着有任务叫subagent 做
但是基本都没什么用到subagent

[kos or]

@applejuice

這個思路很好 你的主Heremes Agent 變成大內總管了

但是基本都没什么用到subagent

早期的LLM 非常喜歡表現 搶功勞 所以不喜歡delegate 使用subagents

[applejuice]

@kos-or 也不算什么思路
看到很多交给不同角色来工作的

但是我的工作没那么复杂
我只是需要把那个可以分出去另外执行的 交给sub agent
那个上下文就可以分开

再然后 我把工作执行交给dense 希望不要错太多
让QNF 负责安排 验收

其实我也只想最大限度把3张卡都用起来

[stxpnet]

不要联网，有必要的时候可以用python脚本之类的本地进行中间计算（利用CPU和内存）

我只加了这句，19点43分时开始的，用OMP+自动思考档位。

这个时候已经8分钟没有用STRATA了，感觉就是CPU发力（那不就成了谁的CPU好，就更快啊。）：

中间打游戏 有几分钟没有续上，估计 用了29分钟的样子。 一大半的时候都 在跑那几个PYTHON脚本。（我的CPU睿频好像只有3.25G，性能 不行）

[kos or]

@stxpnet said:

用OMP+自动思考档位。

請問 OMP 自动思考档位是LLM自己會選擇 Reasoning Low, Medium, xHigh嗎？

考題裡有 "允許自行編程" 的指示 所以可以不用特別加指令
我特意指派了GPU資源Agent 其實也用不到

我的Agent 基本上消耗最多時間的是推理過程(它自己事後分析)
沒看過 CPU滿載，除非我的CPU有問題 無法滿載(可能真的有問題 哈哈)

[stxpnet]

@kos-or 说:

@stxpnet said:

用OMP+自动思考档位。

請問 OMP 自动思考档位是LLM自己會選擇 Reasoning Low, Medium, xHigh嗎？

考題裡有 "允許自行編程" 的指示 所以可以不用特別加指令
我特意指派了GPU資源Agent 其實也用不到

我的Agent 基本上消耗最多時間的是推理過程(它自己事後分析)
沒看過 CPU滿載，除非我的CPU有問題 無法滿載(可能真的有問題 哈哈)

好问题，我一直以为它是按字数来判断，刚刚问了它自己。

它回答的是按judge角色上的那个小模型做路由来判断的：
但我的judge角色未配置模型，于是又问了它，它翻了好久的源码：

[kos or]

@stxpnet said:

它回答的是按judge角色上的那个小模型做路由来判断的：
但我的judge角色未配置模型，于是又问了它，它翻了好久的源码：

不知道類似Jev的小模型能否擔任Judge的工作，快速路由
沒有配置的話，OMP大概是走原模型建立時的default 預設值