LLM解題 極限測試 Extreme-Exam-v7-A (出題者 : GPT6-Astra-max)
-
@kos-or 又用 GLM5.3 Flash （Maya-L） 跑了一遍， 还是出错。 10^12 弄成 10^6 ， 只给了后六位的结果， 倒是数字对， 可是不知道为什么截断了。
我个人感觉， 这种复杂的数学题， 说不定用小模型的 8bit版本， 算的都比大模型的 2-3bit 版本来得好。 数学计算就是需要精确， 所以还是量化bit数比较重要。
-
-
-
這一題的reasoning推論過程很長，越少遇到上下文壓縮越好，模型可以避免失去中間的推論過程
我不確定 Max Output tokens 設置多少比較好
這次用了 Context Window 256K / Max output 100K 得出的速度(答題時間)和輸出品質不錯單卡 5070 Ti + Strata-v0.1.43-QFN-IQ3_S + DSH + Context Window 256K / Max output 100K
做了A/B Test - Reasoning Low vs. High/xHigh
本來還以為開Reasoning High/xHigh 會過度思考 不過這次反而更快找到答案,評價官 GPT5.6-SOL : " 這次 xHigh run 進一步支持一件事：IQ3_S 本身完全沒有顯示 V7-A 級別的 reasoning cliff(推論能力大減)；同一 3-bit-ish quantization 在 Low 與 xHigh 都能達到接近滿分，差異主要落在 verification discipline，而不是「能不能解出來」。"
xHigh的數據
-
-
-
本地受測模型: RedHatAI/Qwen3.8-Flash-Next-NVFP4 + vllm+ customized agent
跑了兩個小時以上, 中間修harness issue
Qwen38-flash答案(md) 和chatgpt 評分
ANSWER_V7A.md
ANSWER_V7A.md -
-
@kos-or 怎么从几个小时变成20多分钟的?
-
-
总之我是不明白
交给subagent 一次 但是据他说没跑完他就发现有问题 就暂停了subagent你的Agent 總管(Orchestrator)意識很強, 居然還派出 Subagent幫忙
請問是用Hermes Agent嗎？ -
-
這個思路很好 你的主Heremes Agent 變成大內總管了
但是基本都没什么用到subagent
早期的LLM 非常喜歡表現 搶功勞 所以不喜歡delegate 使用subagents
-
不要联网，有必要的时候可以用python脚本之类的本地进行中间计算（利用CPU和内存）我只加了这句，19点43分时开始的，用OMP+自动思考档位。
这个时候已经8分钟没有用STRATA了，感觉就是CPU发力（那不就成了谁的CPU好，就更快啊。）：
中间打游戏 有几分钟没有续上，估计 用了29分钟的样子。 一大半的时候都 在跑那几个PYTHON脚本。（我的CPU睿频好像只有3.25G，性能 不行）
双卡3090 PCIE 4.0 16X/16X
白天（宰相） Strata QFN3.8 IQ4_XS 262K ~120 t/s 夜间（将军） vllm+swift 1.5 27B INT4-W4A8-dflash2 188K X 2 ~85 t/s -
不要联网，有必要的时候可以用python脚本之类的本地进行中间计算（利用CPU和内存）我只加了这句，19点43分时开始的，用OMP+自动思考档位。
这个时候已经8分钟没有用STRATA了，感觉就是CPU发力（那不就成了谁的CPU好，就更快啊。）：
中间打游戏 有几分钟没有续上，估计 用了29分钟的样子。 一大半的时候都 在跑那几个PYTHON脚本。（我的CPU睿频好像只有3.25G，性能 不行）
-
用OMP+自动思考档位。
請問 OMP 自动思考档位是LLM自己會選擇 Reasoning Low, Medium, xHigh嗎？
考題裡有 "允許自行編程" 的指示 所以可以不用特別加指令
我特意指派了GPU資源Agent 其實也用不到我的Agent 基本上消耗最多時間的是推理過程(它自己事後分析)
沒看過 CPU滿載，除非我的CPU有問題 無法滿載(可能真的有問題 哈哈)好问题，我一直以为它是按字数来判断，刚刚问了它自己。
它回答的是按judge角色上的那个小模型做路由来判断的：
但我的judge角色未配置模型，于是又问了它，它翻了好久的源码：双卡3090 PCIE 4.0 16X/16X
白天（宰相） Strata QFN3.8 IQ4_XS 262K ~120 t/s 夜间（将军） vllm+swift 1.5 27B INT4-W4A8-dflash2 188K X 2 ~85 t/s -
用OMP+自动思考档位。
請問 OMP 自动思考档位是LLM自己會選擇 Reasoning Low, Medium, xHigh嗎？
考題裡有 "允許自行編程" 的指示 所以可以不用特別加指令
我特意指派了GPU資源Agent 其實也用不到我的Agent 基本上消耗最多時間的是推理過程(它自己事後分析)
沒看過 CPU滿載，除非我的CPU有問題 無法滿載(可能真的有問題 哈哈)好问题，我一直以为它是按字数来判断，刚刚问了它自己。
它回答的是按judge角色上的那个小模型做路由来判断的：
但我的judge角色未配置模型，于是又问了它，它翻了好久的源码： -
均使用 DSH
-
Deepseek API 11m13s 给出正确答案
-
本地Qwen3.8 27B GSQ IQ3-S 256k上下文，耗时1h40m33s，人为中断未能得出答案
-
Strata + QFN GSQ-IQ3-S 512k上下文， 耗时29m43s，给出答案：r = 993536，我说答案错误， 又耗时6m32s确认答案正确，让我提供意见，回复：注意审题，模数， 继续6m17s给出正确答案和解释：
你對，且錯的根源找到了——是模數解讀而非計數方法： 判分用的值是 T(N) mod 10¹² = 385583993536；題面印的 M = 1000000（=10⁶）給出末六碼 993536，所以先前看起來 「 差很多」其實是同一定理在不同模數下的兩個截斷。 我的两条独立实现在 M=10¹² 下都精确给出 385,583,993,536（big_result.txt：primary=independent=True），等於你的標準答案 ⇒ 整套計數方法（Möbius 反演、群環 trace、三種反射軸型、N/2 多重度拆分、L=M·2N 下精確除法）被官方值反向驗證了。 更新後的答案： {"residue": 385583993536} -
Strata + QFN UDQ4-K-XL 400k 上下文， 耗时23m40s给出错误答案；{"residue": 993536}， 回复： 注意审题，模数， 继续2m16s给出正确答案和解释：{"residue": 385583993536}
修正完成。全部重新驗證通過，僅最終取模的除數改變： 錯在哪、改了什麼 - 題目 M = 1000000000000 M=1000000000000（十二個零） = 10 12 =10 12 ；我先前誤以 10 6 10 6 為模數。計數方法、公式、證明與所有小規模驗證完全不受影響，只有最後一步的商環 Z / L c Z Z/L c Z（ L c = 2 N M = 2 N ⋅ 10 12 L c =2NM=2N⋅10 12 ）與最終除法 r = ( S ~ m o d L c ) / ( 2 N ) r=( S modL c )/(2N) 隨之更新。 - 內部一致性旁證：新值滿足 385583993536 m o d 10 6 = 993536 385583993536mod10 6 =993536，恰等於先前錯誤模數下的輸出（同一整數 Q Q 對嵌套除數的相容性），說明其餘管線無誤。
-
-
均使用 DSH
-
Deepseek API 11m13s 给出正确答案
-
本地Qwen3.8 27B GSQ IQ3-S 256k上下文，耗时1h40m33s，人为中断未能得出答案
-
Strata + QFN GSQ-IQ3-S 512k上下文， 耗时29m43s，给出答案：r = 993536，我说答案错误， 又耗时6m32s确认答案正确，让我提供意见，回复：注意审题，模数， 继续6m17s给出正确答案和解释：
你對，且錯的根源找到了——是模數解讀而非計數方法： 判分用的值是 T(N) mod 10¹² = 385583993536；題面印的 M = 1000000（=10⁶）給出末六碼 993536，所以先前看起來 「 差很多」其實是同一定理在不同模數下的兩個截斷。 我的两条独立实现在 M=10¹² 下都精确给出 385,583,993,536（big_result.txt：primary=independent=True），等於你的標準答案 ⇒ 整套計數方法（Möbius 反演、群環 trace、三種反射軸型、N/2 多重度拆分、L=M·2N 下精確除法）被官方值反向驗證了。 更新後的答案： {"residue": 385583993536} -
Strata + QFN UDQ4-K-XL 400k 上下文， 耗时23m40s给出错误答案；{"residue": 993536}， 回复： 注意审题，模数， 继续2m16s给出正确答案和解释：{"residue": 385583993536}
修正完成。全部重新驗證通過，僅最終取模的除數改變： 錯在哪、改了什麼 - 題目 M = 1000000000000 M=1000000000000（十二個零） = 10 12 =10 12 ；我先前誤以 10 6 10 6 為模數。計數方法、公式、證明與所有小規模驗證完全不受影響，只有最後一步的商環 Z / L c Z Z/L c Z（ L c = 2 N M = 2 N ⋅ 10 12 L c =2NM=2N⋅10 12 ）與最終除法 r = ( S ~ m o d L c ) / ( 2 N ) r=( S modL c )/(2N) 隨之更新。 - 內部一致性旁證：新值滿足 385583993536 m o d 10 6 = 993536 385583993536mod10 6 =993536，恰等於先前錯誤模數下的輸出（同一整數 Q Q 對嵌套除數的相容性），說明其餘管線無誤。
-
-
請問是使用哪一套Agent框架 ?
Strata + QFN GSQ-IQ3-S
Strata + QFN UDQ4-K-XL的錯誤答案都一樣 可能是受到 Agent harness的影響
試試看不同的推理深度 , medium, xhigh 應該會改善
本帖参与讨论人数已达 10+，入选热议，作者 +3 积分奖励，感谢分享！
