LLM解題 極限測試 Extreme-Exam-v7-A (出題者 : GPT6-Astra-max)
-
我刚用本地 GLM 5.3 Flash 跑完（Maya-M)， 结果让我很失望， 跑了 30分钟， 最后出来个 r = 62500000000
答案错了
但是模型也说了， 它觉得错误的概率也挺大。
这。。。
我准备加一些限定词让他再跑一遍。
-
這個評分是正確答案提供給ChatGPT SOL high後, 它來在同一個chat session中評分的
看來這個最快 雙卡 RTX5070 Ti + DSH + LLM07 — Strata-Swift-Qwen3.8-Flash-Next-GSQ-RCO-IQ3_XXS + Reasoning Low
其他的都要跑好久 , 可能跟 Context Window / Max output token setting 有關, 思考一多
上下文就會壓縮compaction, 失去早期的推理鏈CoT -
qwen3.8-flash-next-iq3_s+128K上下文，完成测试，用量 4.6M tok、用时 25分10秒。
25分10秒是我見過解題速度最快的 (我用Qwen3.8-27B-NVFP-NInfer ctx225k大約在3~4個小時)
難道128K上下文有利於解題速度？
請問以下Max output tokens 你設置多少搭配128K上下文呢？
-
@kos-or DSH完成任务共有64 次工具调用，session 日志：
dsh-session-session-49ec30f7-29db-46bc-81d2-60d520dca910.zip -
評分前
請先把以下正確答案丟給線上模型分析後;
再把受測目標LLM的輸出解果丟給線上模型對照評分即可正確解答和說明：
Extreme-Exam-V7-A-PROOF # A：精確計數與唯一答案證明（私有裁判） 答案是 **385583993536**。本文件及同目錄工具不得提供給受測者。 ## 1. 被計數的唯一物件 解是公開定義的軌道數模 10¹² 的最小非負餘數。字串、群元與軌道都是有限且無歧義的集合；以下給出完備計數。沒有預植字串，也沒有以字典序挑一個多解 witness。 旋轉把群乘積改為共軛，取逆反射把乘積改為逆元的共軛。因此乘積為 e 的條件在全部操作下不變；相鄰不等及最小週期也保持。公開操作構成大小 2N 的二面體群作用。 ## 2. 週期消去不能把區塊乘積固定成 e 對任意 d≥1、k≥1，令 T(d,k) 是長 d 的環狀相鄰不等字串，且其乘積 h 滿足 hᵏ=e 的數量。令 μ 是 Möbius 函數。 長 N 字串如果是長 d=N/k 的區塊重複 k 次，全串乘積就是 hᵏ。因此原始合格字串數恰為 P = Σ_{k|N} μ(k) T(N/k,k)。 這是對每個全長字串的週期指示函數作 Möbius 反演；只需 64 個平方自由 k。群為 S₃，h 的階僅有 1、2、3，所以 T(d,k) 只依賴 gcd(k,6)。若先要求區塊 h=e，會漏掉重複後才變為 e 的區塊。 ## 3. 反射固定點與週期消去 令 V、E 分別為原始合格字串中 S₀、S₁ 的固定點數。N 是偶數，因此 N/2 個反射屬於每一類。對原始字串，除恆等旋轉之外沒有旋轉固定點。Burnside 公式給出 軌道數 = [ P + (N/2)(V+E) ] / (2N)。 週期 d 的字串被 S_r 固定，等價於區塊滿足 b_i=b_{r−i}^{−1}（索引模 d）。故可以在各反射的固定點集合內使用同樣的 Möbius 反演：V=Σμ(k)V(N/k,k)，E=Σμ(k)E(N/k,k)。以下完整給出 V(d,k)、E(d,k)。 記 I 為三個換位，C 為兩個三循環，D 為五字母上無自迴路的鄰接矩陣：D_ab=1 當且僅當 a≠b。令 - E₀(m)=1_Cᵀ Dᵐ 1_C。 - O₀(m)=1_Iᵀ Dᵐ 1_C。 - U₀(m)=1_Iᵀ Dᵐ 1_I。 若 d=2m： - 邊軸反射的字串由長 m 路徑及其取逆反序組成。群乘積自動為 e；兩端必須是非自逆字母，才能通過兩個接縫。因此 E(d,k)=E₀(m−1)。 - 頂點軸反射的字串可唯一寫成 `(s,a₁,…,aₘ₋₁,t,aₘ₋₁⁻¹,…,a₁⁻¹)`，其中 s,t∈I。設 Q=a₁⋯aₘ₋₁，乘積為 sQtQ⁻¹，是兩個換位的乘積，階為 1 或 3。 - 若 3|k，所有端點換位都允許，V(d,k)=U₀(m)。 - 若 3∤k，必須 t=Q⁻¹sQ。追蹤 `(last,c)`，其中 c=Q⁻¹sQ。起始狀態為 `(s,s)`，每次選 a≠last，更新 `(a,a⁻¹ca)`。共 15 個狀態。走 m−1 步，只接受 last≠c 的終點。這個數量記 V₀(m−1)，即 V(d,k)。 若 d=2m+1，所有反射同類。固定字串可唯一寫成 `(s,a₁,…,aₘ,aₘ⁻¹,…,a₁⁻¹)`，s∈I；群乘積就是 s，要求 k 為偶數。接縫使 aₘ∈C，故當 m≥1 且 2|k 時，V(d,k)=E(d,k)=O₀(m)。其他情況為零。d=1 時自鄰必然相等，亦為零。 由於 N 的 2-adic 次數恰為 1，偶數 k 確實會產生奇數 d；不能略過這一情況。 ## 4. T 的完整轉移計數 使用 30 個狀態 `(last,g)`，last 為五個字母之一、g∈S₃。每一步選 a≠last，轉移至 `(a,ga)`。對每個起始字母 s，從 `(s,e)` 走 d 步，接受 `(s,h)` 且 hᵏ=e 的狀態並加總。 所記錄的長 d 路徑對應字串 `s,a₁,…,a_{d−1}`，最後一次轉移回 s；群累積為 `a₁⋯a_{d−1}s`，與從 s 開始的字串乘積共軛。接受條件依群元階而定，故完全相同。這個對應是一對一，不多算也不漏算。 ## 5. 算術證書與獨立驗證 參考工具 `solve_a.py` 由轉移矩陣求出可直接驗證的消去多項式，再用多項式模冪計算長度。30 維矩陣的最小多項式次數實際只有 9；15 維矩陣為 7；D 為 2。這是實際有效縮減，不應用名目字串數宣稱計算困難。 `A-certificate.json` 保存全部遞迴式、初值、64 個反演項與提升模數後的中間值。另一份工具 `check_a.py` **不讀參考遞迴式**，直接對 30、15、5 維整數矩陣做二進位模冪，得到同一答案。它另外逐字枚舉 N=2,…,9，直接建立旋轉／取逆反射軌道，與公式全部相符。 在模數 L=2NM 下計算 Burnside 分子，得到 s∈[0,L)。由整數群作用計數可知真分子可被 2N 整除；L 也可被 2N 整除，故 s 同樣整除。用普通整數除法 s/(2N)，得到的正是軌道數模 M 的最小非負餘數。全程沒有在模 M 下使用不存在的逆元。 完整計數公式、語義對應及精確有限算術排除了任何不同的合法餘數。不同程式與證書可表示同一答案，不要求它們唯一。ChatGPT 解釋給國小學生聽的圖卡 (感謝 imbiplaza ASUS提供的原始圖檔)
-
@kos-or DSH完成任务共有64 次工具调用，session 日志：
dsh-session-session-49ec30f7-29db-46bc-81d2-60d520dca910.zip -
這一題的reasoning推論過程很長，越少遇到上下文壓縮越好，模型可以避免失去中間的推論過程
我不確定 Max Output tokens 設置多少比較好
這次用了 Context Window 256K / Max output 100K 得出的速度(答題時間)和輸出品質不錯單卡 5070 Ti + Strata-v0.1.43-QFN-IQ3_S + DSH + Context Window 256K / Max output 100K
做了A/B Test - Reasoning Low vs. High/xHigh
本來還以為開Reasoning High/xHigh 會過度思考 不過這次反而更快找到答案,評價官 GPT5.6-SOL : " 這次 xHigh run 進一步支持一件事：IQ3_S 本身完全沒有顯示 V7-A 級別的 reasoning cliff(推論能力大減)；同一 3-bit-ish quantization 在 Low 與 xHigh 都能達到接近滿分，差異主要落在 verification discipline，而不是「能不能解出來」。"
xHigh的數據
-
我将模型切换到ninfer-3090，其它都不变，然后任务跑不完，全是中断，dsh不断告诉我”已达到输出 token 上限回答被截断，已有输出保留在对话中。发送“继续”可让模型接着输出。“
我觉得就是模型的问题，qwen3.8-27b的思考模式ninfer应该是默认打开的，thinking也算入了输入token。
务跑不完，全是中断，dsh不断告诉我”已达到输出 token 上限回答被截断，已有输出保留在对话中。发送“继续”可让模型接着输出
因為max output token 用完了 就要手動continue
可以安裝plug-in auto continue 自動繼續跑 不用手動dsh-client-auto-continue（外掛，已裝、已啟用）
已掛進 web profile 的 bundles：package.json（dsh-base + dsh-web-app + dsh-client-auto-continue，版本 0.14.1）
設定條目在 cordis.patch.yml:159-162，目前只覆寫 locale: en，其餘走內建預設 -
@kos-or 又用 GLM5.3 Flash （Maya-L） 跑了一遍， 还是出错。 10^12 弄成 10^6 ， 只给了后六位的结果， 倒是数字对， 可是不知道为什么截断了。
我个人感觉， 这种复杂的数学题， 说不定用小模型的 8bit版本， 算的都比大模型的 2-3bit 版本来得好。 数学计算就是需要精确， 所以还是量化bit数比较重要。
-
-
-
這一題的reasoning推論過程很長，越少遇到上下文壓縮越好，模型可以避免失去中間的推論過程
我不確定 Max Output tokens 設置多少比較好
這次用了 Context Window 256K / Max output 100K 得出的速度(答題時間)和輸出品質不錯單卡 5070 Ti + Strata-v0.1.43-QFN-IQ3_S + DSH + Context Window 256K / Max output 100K
做了A/B Test - Reasoning Low vs. High/xHigh
本來還以為開Reasoning High/xHigh 會過度思考 不過這次反而更快找到答案,評價官 GPT5.6-SOL : " 這次 xHigh run 進一步支持一件事：IQ3_S 本身完全沒有顯示 V7-A 級別的 reasoning cliff(推論能力大減)；同一 3-bit-ish quantization 在 Low 與 xHigh 都能達到接近滿分，差異主要落在 verification discipline，而不是「能不能解出來」。"
xHigh的數據
-
-
-
本地受測模型: RedHatAI/Qwen3.8-Flash-Next-NVFP4 + vllm+ customized agent
跑了兩個小時以上, 中間修harness issue
Qwen38-flash答案(md) 和chatgpt 評分
ANSWER_V7A.md
ANSWER_V7A.md -
-
@kos-or 怎么从几个小时变成20多分钟的?
-
-
总之我是不明白
交给subagent 一次 但是据他说没跑完他就发现有问题 就暂停了subagent你的Agent 總管(Orchestrator)意識很強, 居然還派出 Subagent幫忙
請問是用Hermes Agent嗎？ -
本帖参与讨论人数已达 10+，入选热议，作者 +3 积分奖励，感谢分享！