Qwen3.8-Flash-Next UD-Q4_K_XL 引擎对比：llama.cpp 与 Strata，同样的48GB 显存 + 128GB 内存，不同的结果
-
@marsempire 你这一贴把「480k」说清楚了——那不是模型也不是 LoRA，是 480 KB 的拒答方向控制向量
Huihui-Qwen3.8-Flash-Next-refusal-direction-r.gguf。我上一条按整权重 / LoRA / 上下文参数三种形态分，漏了第四种 control vector，补上：-
机制：权重不动（就是 ISTA-DASLab 原版 GSQ-RCO 量化），Strata 每层做
h = h - (h·r)r，运行时扣掉拒答方向。所以它只配这套 Q2_0 / IQ2_XS / IQ3_XXS / IQ3_S，且只在 Strata 的 project 模式生效。你那份 unslothUD-Q4_K_XL挂不上：量化方案和 revision 都不同，r绑定的是这套权重的激活几何。 -
坑：原版 llama.cpp 的
--control-vector只会「加」向量，没有 project 模式，拿它加载这包 = 还是原版会拒答的模型。要生效得这样起：
./setup.sh --setup --model IQ3_S --gguf-dir ../flash-next/IQ3_S --vision gpu \ --experimental-speed-projection ../flash-next/Huihui-...-refusal-direction-r.gguf它会写
--cvec-mode project --control-vector-layer-range 4 44（可改 1 47；第 0 层不受控）。-
下载量：向量才 480 KB，但它是「官方量化 + 运行时小向量」，不是新的无审查整模型，仍要下对应 GSQ-RCO 包。作者 3090 实测峰值显存 23.8 GB：
- IQ2_XS：68 GB 下载，专家占 RAM 35.5 GB，32K 解码 ~87 t/s，KL 0.193
- IQ3_S：83.6 GB，RAM 50 GB，32K ~59 t/s，KL 0.075（更接近 BF16）
48G 显存 + 128G 内存的话 IQ2_XS 更稳，IQ3_S 也能跑但吃 50G 内存。
-
你说的
swift-iq3_s若指手上已有的 IQ3_S：这向量钉死revision ed59f920、配 ISTA 原包，别的来源不一定对得上。已有稳定无审查路子就没必要再下 68 GB——它的价值就是「不换权重，只加 480 KB 向量」。想复现这帖效果，就按上面 IQ2_XS + project 模式。
-
-
让 Strata+Qwen3.8-Flash-Next-UD-Q4_K_XL 做一道极限推理题，然后用DSH把它写的程序跑了一遍。
题目
论坛中的极限测试题：LLM解題 極限測試 Extreme-Exam-v7-A (出題者 : GPT6-Astra-max)
具体内容就不赘述了，见原帖。
第一次：模型“想”了 4 分半，一个字都没输出！
第一次发进去，网页上只显示「Thought for 268.3s」，然后就没有然后了。
查引擎日志：
prompt 912 tokens ... 38680 generated in 268284 ms (144.2 tok/s) drafts accepted 24999 of 3438238,680 个 token 全部花在思考上，
content是空的。 上下文 262K，离上限还远，日志里也没有任何报错。对照官方文档，这是 #1053 那个已知情况：
有些回合写了一句话的推理，然后直接输出了结束符，没有
</think>：内容是空的，agent 就停住了。往配置里加上（放在
args外面）："reasoning_close_retry": true顺带把思考档位也定下来：
"reasoning_effort": "medium"这两项加载后，启动日志显示：
[strata] thinking level: medium (reasoning_effort in the config; ...)
重启后再跑一次。这次有输出了，但过程是这样的：
prompt 915 tokens ... 103830 generated in 978736 ms (106.1 tok/s) [strata] done: 103830 tokens in 981 s (106.1 tok/s) (stop, cancel=False)103,830 个 token，981 秒（16.3 分钟），正常结束（
stop，不是被截断也不是手动停的）。大约 9.6 万 token 在思考，剩下的才是正文。正文是一份完整的解法文档：
- 把 dihedral 型群结构理清了（(S_kS_l=R_{l-k})）
- 用 Burnside + Möbius 反演处理「最小周期恰为 N」这个条件
- 对乘积条件用三个转移矩阵（平凡表示、符号表示、3 点置换表示）配合特征理论
- 把反射固定点分成三种轴型分别计数
- 为了处理「中间乘积的共轭作用」设计了一个 30 状态的自动机
- 整套运算都在模 (6\cdot 2N\cdot 10^{12}) 下做，以便正确处理中间出现的除以 2、3、6
- 最后附了一段完整的 Python 程序
但是，最终也没有给出r的数值。
最后给的是「最終核心答案」，内容只有一句：
執行上述程式對題目給定 N 和 M 運算，會直接印出
{"residue": r}，其中印出的整數 r 即為所求餘數。也就是说，它把答案推给了一个它自己没运行过的程序。
我让DSH把它写的程序跑了一遍。
第一次运行：N=2 就崩了
IndexError: list index out of range in apply_row_pow原因：程序里
PRIMES写死成大 N 的质因数[2,3,5,7,11,13]，但用于小规模检查时直接算d = n // m。N=2 时 m=3 给出d=0、l=-1，指数变成负数，越界。DSH只改了质因数的来源，数学逻辑一个字没动，重新跑。
修掉之后：N=4 立刻暴露数学错误
check N=2: 1 OK check N=3: 3 OK check N=4: 公式 3 != 暴力枚举 6公式在 N=2、3 上通过，从 N=4 开始就错了。
按反射轴逐个暴力核对，定位到问题出在「有 2 个固定点」那类轴上：
N=4 的反射轴 暴力真值 r=0（2 个固定点） 12 r=1（无固定点） 2 r=2（2 个固定点） 12 r=3（无固定点） 2 程序算出来「无固定点」那类是 2，对的；但「2 个固定点」那类给出 0，真值是 12。
问题在自动机的接受条件。推导上，中间乘积 (B=a_1\cdots a_l) 需要满足 (\pi_B(t_h)=t_0)，所以 (t_h=\pi_B^{-1}(t_0)) 是唯一确定的；而相邻条件要求 (t_h\neq a_l)，也就是接受条件应该是
$$\pi_B(a_l)\neq t_0$$
程序写的是：
# Strata 写的 if ti != -1 and pi[ti] == 0: FINAL = 1 # 正确的 if ti == -1: # a_l 是 3-环：t_h 必是对换，不可能相等 FINAL[...] = 1 elif pi[ti] != 0: # a_l 是对换：要求 t_h = pi^-1(t_0) != a_l FINAL[...] = 1不等号写成等号，还多加了一个「a_l 必须是对换」的限制——这个限制本来不该有。
改掉这一处之后，全部通过
check N=2: 1 OK check N=3: 3 OK check N=4: 6 OK check N=5: 15 OK check N=6: 63 OK check N=7: 195 OK check N=8: 717 OK check N=9: 2428 OK （N=9 是我另外补的暴力验证） {"residue": 385583993536}最终答案 r = 385583993536。 三次重复运行结果一致。
Strata声称的「已验证」是编的：
已驗證 N=2,…,8 一致。例如：N=2：原始合格軌道數 1；N=3：原始合格軌道數 3。
实际情况：
- 原版程序连 N=2 都跑不过去，直接崩在索引越界上，根本到不了 N=8
- 但它给出的 N=2→1、N=3→3 数值恰好是对的
- 修好之后 N=4 立刻不一致
也就是说，那两个数字它蒙对了，然后把「验证过 N=2 到 8」当成了既成事实写进文档，还附上了「验证结果」。
怎么评价这次测试
先说好的部分。这份推导的质量比预期高不少。
部分 结果 dihedral 群结构 (S_kS_l=R_{l-k}) 正确 Burnside + Möbius 处理原始周期 正确 三个转移矩阵与特征分解 正确 反射轴的三种类型分类 正确 30 状态共轭自动机的设计思路 正确 模 (6\cdot2N\cdot10^{12}) 处理中间除法 正确，而且这个方案本身挺漂亮 自动机的接受条件 一处不等号写反 整套推导只有这一处逻辑错误。 能独立设计出「Burnside + 特征理论 + 自动机 + 模运算」这样一套完整方案，这个推理能力是真的。
问题出在自检上：
- 一个不等号写反，跑一次小规模检查就会立刻暴露
- 但它没跑，就宣称验证过了，还编出了验证结果
- 修复之后整个程序跑完只要 2 分钟左右（含 N=2 到 8 的暴力枚举）
它省下的这两分钟，代价是主答案完全错误。
这正好印证之前的那句话：它很会解释，但「很可能是这样」和「已经证实就是这样」之间的边界不够稳。放到数学上，就变成了——推导能力长得比验证能力更快。
顺带记几个配置经验
-
reasoning_close_retry有用。 第一次那个「思考完不出来」的故障，加了这一项之后没有复发。 -
网页 Chat 里的 Max tokens 留空 = 整个上下文。 源码里是这么写的：
room = ctx - CTX_SLACK - len(ids) if max_new is None or max_new <= 0: max_new = room也就是「Until done」实际上是「最多可以想 26 万 token」。这次它用了 10.3 万。
- 想限制思考长度就加
reasoning_budget_tokens。 到了上限服务端会强制收尾让它开始作答。我这次还没加，所以它一路想了 9.6 万 token。
结论
这道题推理能力 9 分，可信度 4 分。
它能写出基本正确的完整推导，但在没有执行能力的情况下，会把「我推导出来了」直接说成「我验证过了」。做 Agent 的时候这一点比算错本身更值得警惕——因为它看起来太像真的了。
-
，
T terry 固定了此主题
-
-
@terry 是的，用了基本都回不去，除非整机硬件不均衡，不适应STRATA。
我分享一下我用STRATA的正确姿势。 【
首先我的上下文是384K（1.5倍原生yarn扩展），双槽
其次 基本上我只用OMP这个框架了（因为它才有思考自动档），
项目或者ISSUE开始的时候，我直接用AUTO思考档。正常和它对聊，收集信息，并开展工作。用最快速度做个MVP，或者是对问题有个梗概的了解。在处理得差不多的时候，根据情况，我会再从头到尾过一遍，补充或纠正的信息编辑好。然后再发提示词，并把思考切换到xhigh,因为只有这个档位才能发挥出QFN3.8的全部实力。 让OMP再针对该会话进行全面的复盘，该修正的修正 ，该改进的改进。 最终等它自己都觉得完美了，这个项目或者ISSUE就能CLOSE了。】
这是我目前找到的发挥STRATA和QFN3.8的最强实力的办法。 -
让 Strata+Qwen3.8-Flash-Next-UD-Q4_K_XL 做一道极限推理题，然后用DSH把它写的程序跑了一遍。
题目
论坛中的极限测试题：LLM解題 極限測試 Extreme-Exam-v7-A (出題者 : GPT6-Astra-max)
具体内容就不赘述了，见原帖。
第一次：模型“想”了 4 分半，一个字都没输出！
第一次发进去，网页上只显示「Thought for 268.3s」，然后就没有然后了。
查引擎日志：
prompt 912 tokens ... 38680 generated in 268284 ms (144.2 tok/s) drafts accepted 24999 of 3438238,680 个 token 全部花在思考上，
content是空的。 上下文 262K，离上限还远，日志里也没有任何报错。对照官方文档，这是 #1053 那个已知情况：
有些回合写了一句话的推理，然后直接输出了结束符，没有
</think>：内容是空的，agent 就停住了。往配置里加上（放在
args外面）："reasoning_close_retry": true顺带把思考档位也定下来：
"reasoning_effort": "medium"这两项加载后，启动日志显示：
[strata] thinking level: medium (reasoning_effort in the config; ...)
重启后再跑一次。这次有输出了，但过程是这样的：
prompt 915 tokens ... 103830 generated in 978736 ms (106.1 tok/s) [strata] done: 103830 tokens in 981 s (106.1 tok/s) (stop, cancel=False)103,830 个 token，981 秒（16.3 分钟），正常结束（
stop，不是被截断也不是手动停的）。大约 9.6 万 token 在思考，剩下的才是正文。正文是一份完整的解法文档：
- 把 dihedral 型群结构理清了（(S_kS_l=R_{l-k})）
- 用 Burnside + Möbius 反演处理「最小周期恰为 N」这个条件
- 对乘积条件用三个转移矩阵（平凡表示、符号表示、3 点置换表示）配合特征理论
- 把反射固定点分成三种轴型分别计数
- 为了处理「中间乘积的共轭作用」设计了一个 30 状态的自动机
- 整套运算都在模 (6\cdot 2N\cdot 10^{12}) 下做，以便正确处理中间出现的除以 2、3、6
- 最后附了一段完整的 Python 程序
但是，最终也没有给出r的数值。
最后给的是「最終核心答案」，内容只有一句：
執行上述程式對題目給定 N 和 M 運算，會直接印出
{"residue": r}，其中印出的整數 r 即為所求餘數。也就是说，它把答案推给了一个它自己没运行过的程序。
我让DSH把它写的程序跑了一遍。
第一次运行：N=2 就崩了
IndexError: list index out of range in apply_row_pow原因：程序里
PRIMES写死成大 N 的质因数[2,3,5,7,11,13]，但用于小规模检查时直接算d = n // m。N=2 时 m=3 给出d=0、l=-1，指数变成负数，越界。DSH只改了质因数的来源，数学逻辑一个字没动，重新跑。
修掉之后：N=4 立刻暴露数学错误
check N=2: 1 OK check N=3: 3 OK check N=4: 公式 3 != 暴力枚举 6公式在 N=2、3 上通过，从 N=4 开始就错了。
按反射轴逐个暴力核对，定位到问题出在「有 2 个固定点」那类轴上：
N=4 的反射轴 暴力真值 r=0（2 个固定点） 12 r=1（无固定点） 2 r=2（2 个固定点） 12 r=3（无固定点） 2 程序算出来「无固定点」那类是 2，对的；但「2 个固定点」那类给出 0，真值是 12。
问题在自动机的接受条件。推导上，中间乘积 (B=a_1\cdots a_l) 需要满足 (\pi_B(t_h)=t_0)，所以 (t_h=\pi_B^{-1}(t_0)) 是唯一确定的；而相邻条件要求 (t_h\neq a_l)，也就是接受条件应该是
$$\pi_B(a_l)\neq t_0$$
程序写的是：
# Strata 写的 if ti != -1 and pi[ti] == 0: FINAL = 1 # 正确的 if ti == -1: # a_l 是 3-环：t_h 必是对换，不可能相等 FINAL[...] = 1 elif pi[ti] != 0: # a_l 是对换：要求 t_h = pi^-1(t_0) != a_l FINAL[...] = 1不等号写成等号，还多加了一个「a_l 必须是对换」的限制——这个限制本来不该有。
改掉这一处之后，全部通过
check N=2: 1 OK check N=3: 3 OK check N=4: 6 OK check N=5: 15 OK check N=6: 63 OK check N=7: 195 OK check N=8: 717 OK check N=9: 2428 OK （N=9 是我另外补的暴力验证） {"residue": 385583993536}最终答案 r = 385583993536。 三次重复运行结果一致。
Strata声称的「已验证」是编的：
已驗證 N=2,…,8 一致。例如：N=2：原始合格軌道數 1；N=3：原始合格軌道數 3。
实际情况：
- 原版程序连 N=2 都跑不过去，直接崩在索引越界上，根本到不了 N=8
- 但它给出的 N=2→1、N=3→3 数值恰好是对的
- 修好之后 N=4 立刻不一致
也就是说，那两个数字它蒙对了，然后把「验证过 N=2 到 8」当成了既成事实写进文档，还附上了「验证结果」。
怎么评价这次测试
先说好的部分。这份推导的质量比预期高不少。
部分 结果 dihedral 群结构 (S_kS_l=R_{l-k}) 正确 Burnside + Möbius 处理原始周期 正确 三个转移矩阵与特征分解 正确 反射轴的三种类型分类 正确 30 状态共轭自动机的设计思路 正确 模 (6\cdot2N\cdot10^{12}) 处理中间除法 正确，而且这个方案本身挺漂亮 自动机的接受条件 一处不等号写反 整套推导只有这一处逻辑错误。 能独立设计出「Burnside + 特征理论 + 自动机 + 模运算」这样一套完整方案，这个推理能力是真的。
问题出在自检上：
- 一个不等号写反，跑一次小规模检查就会立刻暴露
- 但它没跑，就宣称验证过了，还编出了验证结果
- 修复之后整个程序跑完只要 2 分钟左右（含 N=2 到 8 的暴力枚举）
它省下的这两分钟，代价是主答案完全错误。
这正好印证之前的那句话：它很会解释，但「很可能是这样」和「已经证实就是这样」之间的边界不够稳。放到数学上，就变成了——推导能力长得比验证能力更快。
顺带记几个配置经验
-
reasoning_close_retry有用。 第一次那个「思考完不出来」的故障，加了这一项之后没有复发。 -
网页 Chat 里的 Max tokens 留空 = 整个上下文。 源码里是这么写的：
room = ctx - CTX_SLACK - len(ids) if max_new is None or max_new <= 0: max_new = room也就是「Until done」实际上是「最多可以想 26 万 token」。这次它用了 10.3 万。
- 想限制思考长度就加
reasoning_budget_tokens。 到了上限服务端会强制收尾让它开始作答。我这次还没加，所以它一路想了 9.6 万 token。
结论
这道题推理能力 9 分，可信度 4 分。
它能写出基本正确的完整推导，但在没有执行能力的情况下，会把「我推导出来了」直接说成「我验证过了」。做 Agent 的时候这一点比算错本身更值得警惕——因为它看起来太像真的了。
-
@terry 是的，用了基本都回不去，除非整机硬件不均衡，不适应STRATA。
我分享一下我用STRATA的正确姿势。 【
首先我的上下文是384K（1.5倍原生yarn扩展），双槽
其次 基本上我只用OMP这个框架了（因为它才有思考自动档），
项目或者ISSUE开始的时候，我直接用AUTO思考档。正常和它对聊，收集信息，并开展工作。用最快速度做个MVP，或者是对问题有个梗概的了解。在处理得差不多的时候，根据情况，我会再从头到尾过一遍，补充或纠正的信息编辑好。然后再发提示词，并把思考切换到xhigh,因为只有这个档位才能发挥出QFN3.8的全部实力。 让OMP再针对该会话进行全面的复盘，该修正的修正 ，该改进的改进。 最终等它自己都觉得完美了，这个项目或者ISSUE就能CLOSE了。】
这是我目前找到的发挥STRATA和QFN3.8的最强实力的办法。 -
@stxpnet 没试用 UD-Q4_K_XL？
-
@stxpnet 没试用 UD-Q4_K_XL？
没试，感觉跑不动的样子。 3090算力毕竟 有限啊。。。。太委屈了。 早知道这样。 4张4070TI也比3090好啊。
@stxpnet 可以跑，至少我能接受
你搞4卡3090 吧
Prefill (tokens/s)
Prompt IQ3_S, 0.1.43 IQ3_S, 0.1.44.1 UD-Q4_K_XL, 0.1.44.1 Q4 vs IQ3_S 19K 2,539 2,527 2,038 -19 % 43K 3,153 3,118 2,516 -19 % 89K 3,552 3,516 2,844 -19 % 123K 3,548 3,504 2,852 -19 % Decode (tokens/s, median)
Prompt IQ3_S, 0.1.43 IQ3_S, 0.1.44.1 UD-Q4_K_XL, 0.1.44.1 Q4 vs IQ3_S Chinese prose 104.1 105.7 94.7 -10 % Chinese chat 110.4 108.2 91.2 -16 % English technical 110.8 113.1 90.6 -20 % Code 166.9 166.8 130.7 -22 % -
-
，系统 取消固定了此主题
-
-
@applejuice 至今没搞明白UD-Q4_K_XL和IQ3_S的精度差异，按照GSR-RCO的说法，IQ3_S，是不是比UD-Q4_K_XL还要好？
-
抄作业成功
全部交给ai去弄
Strata 部署 Qwen3.8-Flash-Next UD-Q4_K_XL 安装完成
历时 2 小时 57 分，全部 7 个步骤走完：步骤 结果
1-3 硬件/配置/依赖 RTX 4090 48GB、127GB 内存全过；UD-Q4_K_XL、262K 上下文、int8 KV、71GiB 专家预算
4 引擎 v0.1.45 预编译版（sm_75/86/89/120，CUDA 13.0）+ cuBLAS/runtime
5 模型下载 4 个 GGUF 分片（111.7GB）+ mmproj 视觉编码器，全部 SHA-256 校验通过
6 模型打包 iq_pack 转换 460 个张量（--compat-bf16 自动生效）；MTP 草稿层 5.2GB → q2_0 → 运行时格式（787M）
7 启动脚本 run-unsloth-ud-q4_k_xl.bat + 配置文件已生成调优后实测成绩（2000 token 长生成）：解码 84.8 tok/s、专家命中率 96.8%、显存 47.7GB 无警告。相比首启的 76.5 tok/s 提升 +9%，改动：关闭 vision（腾出显存消除引擎 #2065 分页警告）+ 帖子的 3 个环境变量 + 会话缓存 + thinking 预算三重防护。
关于与帖子的差距（他们 124-145 tok/s）：已排查到底——显卡全程无降频（SM/显存满频、237W、40°C），差距是 sm_89（Ada）vs sm_120（Blackwell）内核代际差，非配置问题。预填已达他们高位，解码约为其 65%。
-
@applejuice 至今没搞明白UD-Q4_K_XL和IQ3_S的精度差异，按照GSR-RCO的说法，IQ3_S，是不是比UD-Q4_K_XL还要好？
