双 RTX 3090 上的三个 Strata 引擎实测：官方版 vs sergqwer 分支 vs eddoursul 分支（Qwen3.8-Flash-Next，UD-Q4_K_XL）
-
这 eddoursul 分支 暂时对我就是最完美状态
感觉27b让本地llm开始可以用
strata QFN 开始让llm 可以代替线上模型在同一台机器上连续测完，用同一套模型文件。只换引擎和各自推荐的参数，其他都一样。
机器
部件 配置 CPU AMD EPYC 7452，32 核（Zen 2，AVX2） 内存 256 GB DDR4-2666 ECC RDIMM，8 通道（约 139 GB/s） 显卡 2 × NVIDIA RTX 3090 24 GB，每张限 250 W，各自 PCIe 4.0 x16，没有 NVLink 系统 / 驱动 Ubuntu 24.04，内核 6.8，NVIDIA 610.57.04 测试方法
- Prefill： 冷启动，每次加不同前缀保证不命中缓存，
max_tokens=1，测首 token 时间。 - Decode： 4 个固定题（中文散文、中文日常对话、英文技术、写代码），取 3 次中位数。
- 功能检查： 一次工具调用、一张图片（红/蓝颜色测试）、12 道简单题 ×2（默认强度）、16 道数学和代码题（强度 high）。全部单请求。
- 长上下文（仅 eddoursul 512K）： 一次约 300K token 的大海捞针，超过模型原生的 262K。
结果
Prefill（token/s）
提示长度 官方版（512K） sergqwer（512K） eddoursul（200K） eddoursul（512K，YaRN ×2） 19K 2,044 2,278 2,489 2,474 43K 2,511 2,794 3,164 3,144 89K 2,851 3,016 3,168 3,148 123K 2,850 3,191 3,176 3,145 约 300K（捞针用的提示） - - - 约 2,530（298,935 token，118 秒） Decode（token/s，中位数）
题目 官方版 sergqwer eddoursul（200K） eddoursul（512K） eddoursul 512K 对比 sergqwer 中文散文 95.7 93.9 84.1 84.8 −10% 中文日常对话 90.2 92.0 83.3 85.9 −7% 英文技术 95.8 93.7 107.0 108.7 +16% 写代码 131.3 133.7 167.3 167.0 +25% 功能检查与内存
官方版 sergqwer eddoursul（200K） eddoursul（512K） 工具调用 / 图片 通过 / 通过 通过 / 通过 通过 / 通过 通过 / 通过 简单题（24） 24/24 24/24 24/24 24/24 难题（16，强度 high） 16/16 16/16 16/16 16/16 约 300K 捞针 - - - 找到 Strata 占用内存 约 90 GiB 约 91 GiB 约 78 GiB 约 77 GiB 启动时显存里的专家数 约 10,400（按层切分） 约 10,400（按层切分） 12,477（5,297 + 7,180） 12,472（5,292 + 7,180） - Prefill： 冷启动，每次加不同前缀保证不命中缓存，
-
-
-
@terry 感觉太长 不重要所以拿掉了
改回了
-
官方最新版，配置和你差不多（MZ32-AR0 + 7B13 CPU 64核128线程，分48核给STARTA ），我让HERMES测过了8通道DDR4 2133（16条16G） 只有83G/S。
双RTX 3090 华硕白猛 禽，无NVLINK,P2P破解驱动，P2P测试单向23G/S，双向34G/S，限制240瓦 ，1680MHZ. 这种小批量任务比较容易冲到峰值TOKEN。 轻度使用了半小时。15000个左右的专家在显卡
分了80G内存做会话缓存，一般3-4轮满上下文对话就会占满。
IQ 3S那个模型，两个393K上下文的槽子。 晚点有空了测一下夜间任务的实际表现（夜间爱惜显卡一点，空调 开24度对显卡进行重度编程任务调用 ）
-
-
-
