让本地27B(或任意)模型数学从只有92.7% 准确到工程可靠！可用！
-
-
@paul-hou
我让27b翻了一下我的调试记录，关键点在于你pcie的速度，而且并发的时候总速度反而会掉，你可以做个参考，如下：找到了。完整记录在会话
session-4ec38542（标题：R9700-Strata-调优全记录），2026-10-26 当天实测。以下是搬出来的原始数据：
Radiance Flash-Next 实测数据（2026-10-26，单卡 R9700，204800 窗口，4096 chunk，MTP=4，fp8 KV）
项 数值 prefill 8.9K / 33K / 134K 1,077 / 1,303 / 1,339 tok/s TTFT 同上 8.3 / 25.9 / 100.6 s decode（temp 0.7，400 tok） 55.9 / 63.0 tok/s decode（贪心） 57.9 tok/s decode（temp 0.7，多轮） 41.6 / 40.3 tok/s decode @125K 上下文 34.9 tok/s 并发 2 / 4 聚合 31 / 50 tok/s 同对话追问（命中 12,288 tok 前缀） TTFT 1.53 s 冷启首轮 25 tok/s（必须预热） 启动日志关键量：专家 17.31 GiB 显存 + 43 GiB pinned 主机池；KV 4.86 GiB；PLE(n-gram) 表 47.68 GiB 在磁盘（内存装不下）；模型总文件 113.6 GiB。
为什么放弃（三条硬理由）
1. 链路硬顶，prefill 被 PCIe 3.0 卡死
R9700 上游链路被降级到 Gen3 x16（宿主
LnkSta: 8GT/s (downgraded)），GPU 空载 2 GiB 大页拷贝实测 13.8 GB/s。Radiance 的架构是每步把 43 GiB 专家池从主机内存搬过 PCIe，算下来 PP ≈ 14 GB/s ÷ 11.3 MB/token ≈ 1,240 tok/s——与实测 1,300 完全吻合。官方 2,545 tok/s 是 Gen4/5 平台的成绩，你这台 Dell 7820（Xeon Gold 6252，PCIe 3.0）物理上到不了。2. 内存模型撑不住并发和缓存
43 GiB pinned 池把内存吃死，只剩 6–9 GB 给对话缓存——8 条对话缓存根本开不了，SSD session 也不支持。而 Strata 只用 ~40 GiB 匿名内存 + 页缓存，剩 16 GB，才装得下 6 GiB / 8 槽的对话缓存 + SSD session。
3. 同卡对比 Strata 全面胜出
项 Radiance Strata（同卡同窗口） prefill 1,300 2,250–2,336（1.8×） decode 57–63 116–122（adapt-every 1） 8 槽对话缓存 
0.54 s 热态SSD session 可用内存 6–9 GB ~16 GB 附带现实约束：当时
/data池只剩 36 GB，Radiance 的 113.6 GB 模型必须删掉才装得下 Strata 的 81 GB 权重——只能二选一，不是偏好。
一句话总结：Radiance 的架构（专家每步过 PCIe）在你这台 PCIe 3.0 宿主上被链路带宽锁死，prefill 天花板 ~1,300、decode ~60，而 Strata 把专家算在 CPU/常驻显存，同卡直接翻倍。模型已删，要复核需重新下载 113.6 GB。
-
-
-
我用strata 用到很开心呢..
只是我有另一张卡跑子任务 -
@applejuice
不瞒你说，你说的这个想法我也试了。你另一张卡用的什么跑的什么模型？我是把另一张5070ti让他跑27b给qfn调用子代理的时候去用，结果翻车了。一来有那个派任务和验收的开销，二来5070Ti跑27b本来就不快，pp也就才1100左右，tg的话在三四十，算下来还不如用本体Strata跑呢，尴尬死了。 -
@fcme 我两张3090跑strata prefill 4.5k 以上
r9700 跑27b 2.5k prefill
现在主模型 等待时间比较长 利用率有点低 -
@applejuice
你是多卡狂人，比不了比不了
-
-
-
@范志刚 其实如果可以我也想要单卡
问题是 现在处境有点尴尬单卡 不够跑大型moe qfn 除非你买6000 pro
双卡跑moe 基本也已经榨干显卡strata 方案 却只能排队，这时候有另一个模型做子任务就好多了
而且我分拆子任务也是因为一个工作一个检查
不是为了分拆而分拆 -
@applejuice 其实我觉得这个实在不行可以让agent改一下修改一下调度规则。平衡一下各会话的吞吐。
-
-
-
就是每个分支任务跟个qc？高级啊!顺巡逻辑树这事其实不用那么大模型，30b框架和填肉足够了，我要速度的时候都用8b跑刮削填肉，他只是框架不够大，没moe会吹大泡，单论执行不比大moe差，甚至更稳，主要是关键时刻能反得回主逻辑树，大moe可能就按他想象跑了@applejuice 模型出厂训练内容少点还能听话点，大不了咱自己给他赋能，垂直领域我是信不过moe的“专家”能力？真犯错就会罗圈错，永远跳不出，除非你就依赖他自己的训练通识内容，那还咋创作了，个人觉得那些通识正是幻觉的来源
-
-
-
举个实例，过去我用qwen3.6 27b送生成词给ltx2.3并推节点工作，他写那个节点推送脚本因为模型里没有过训练，怎么都给我抓ltx20的节点，怎么训怎么存也是这次会了下次必插模型内训练的ltx2.0节点，当时我都要疯了，这还不如没任何训练只执行我写好的脚本，撂爪就忘，抬爪就是模内的淘汰信息，我用了几个月掰他这种幻觉，现在看只能从两点解决，顺从他ltx2.0，或者认输。反而我用3.5 9b感觉教会他容易多了，但他复杂任务格局不够，逻辑宽度不够，做不了复杂树轮询
-
-
