Strata低功耗双卡RTX 6000 Pro 千问Flash Next IQ4 XS 210tok/s 爽玩
-
-
-
不过双 RTX 6000 才跑到200，我能跑到 110 ， 我已经非常非常欣慰了， 毕竟价格差了20倍
-
@johnnybegood 上2张r9700 很不错
@applejuice 其实在我看来， 不管是 2xR9700 还是 2x3090， 还是 2x7900xtx ， 甚至是 2x3080 20G， 在我眼里都是一个档位的。 没什么太大折腾的动力。 但是太好的卡，实力又不够， 前一阵本来想咬咬牙搞 2x 4090 48G， 资金到是还可以，手头两张3090加一张3080卖了也能回不少血， 但是近期4090频繁出售后问题让我也不太敢动手了。
-
@applejuice 其实在我看来， 不管是 2xR9700 还是 2x3090， 还是 2x7900xtx ， 甚至是 2x3080 20G， 在我眼里都是一个档位的。 没什么太大折腾的动力。 但是太好的卡，实力又不够， 前一阵本来想咬咬牙搞 2x 4090 48G， 资金到是还可以，手头两张3090加一张3080卖了也能回不少血， 但是近期4090频繁出售后问题让我也不太敢动手了。
@johnnybegood 之前dense 的天下 我觉得r9700 是跟3090 同档
但是如果未来是moe 的天下 r9700 就是高一档了
有fp8 有大内存 -
@johnnybegood 之前dense 的天下 我觉得r9700 是跟3090 同档
但是如果未来是moe 的天下 r9700 就是高一档了
有fp8 有大内存@applejuice 是呀， 4xR9700简直太爽了。
-
-
-
-
-
接下来应该人均5080 24gb
-
@imbiplaza-ASUS 如果卖1w倒是有可能， 如果是2-3W就太贵了
-
接下来应该人均5080 24gb
-
-
-
感谢大家的参观，统一补充一下这次测试的考虑，尤其是为什么用 Strata：
1. 这台机器优先考虑低功耗、长期开机
两张 RTX 6000 Pro 工作站版都限制到了每张 300W，不是奔着满功耗刷最高跑分去的。服务器需要 24/7 开机，选择 9700X 也是出于这个考虑。
2. 关于截图里约 200 tok/s 和上下文
第二张 OpenCode 截图是实际使用时自己做的 Statsline 统计，不是统一条件下的框架对比跑分。这套配置用了 YaRN ×2，把原生 262,144 的上下文上限扩到了 524,288（约 524K）。
但配置了 524K 上限，不代表截图里的请求真的填满了 524K，也不能直接把这个速度全部归因于 RoPE 扩展。功耗限制、量化、实际输入长度、推测解码等条件都需要一起看；完整长上下文的效果也还需要单独测试。
3. 为什么显存这么大，还选择 Strata？
主要是这台机器的配置有点偏科：两张卡各有 96GB 显存，但系统内存只有 48GB。显存放得下，不代表加载过程就一定能在这点 RAM 里完成。
之前折腾 DeepSeek-V4-Flash-0731 时，我就在 vLLM 那套加载/转换流程里碰到了主机内存瓶颈，后来才用流式处理和 NVMe 上的缓存来解决。这里说的是我当时那套模型和实现的经历，不是说 vLLM 或 SGLang 都必须先把整个模型塞进 RAM：
- https://github.com/lunarmoon26/deepseek-v4-flash
- https://blog.haochuanz.net/posts/running-deepseek-v4-flash-0731-with-48gb-ram
Strata 吸引我的，是它已经有适合“小 RAM、大 VRAM”的权重加载和分层缓存机制。简单说：
- 模型文件留在 SSD 上，按需读取专家权重，通过有限的主机内存缓冲分批搬进 GPU cache，而不是先在 RAM 里保留一整份专家权重。
- 多卡按层分配；已经放进两张 GPU cache 的专家，不必再在主机 RAM 里常驻一份。放不下的部分才需要结合 RAM 预算和文件后备来处理。
- 关键是不需要先把全部专家权重同时装进系统内存，而不是完全绕过 RAM。 数据仍经过主机内存搬进显卡，不是 GPUDirect 式的 SSD 直传显存；传输缓冲、其他运行时数据和系统文件缓存仍然会占用 RAM。
我这次跑的是 Unsloth UD-IQ4_XS。项目验证记录里，双卡按层拆分后，全部 24,576 个专家都进了 GPU cache，专家缓存合计约 55.4 GiB；日志里的常驻专家 RAM 是 0 GiB。这个“0”只指专家权重的常驻 RAM 副本，不是整个程序不占内存，也不是说整个模型的所有数据都在显存里。 下载约 94GB，也不等于这些文件必须全部常驻 RAM 或 VRAM。
配置上还有一个坑：当时那个版本的 setup 在 Unsloth 多卡路径下会去掉 RAM budget，所以我先生成限额配置，再配置双卡按层拆分，保留
--resident-budget-gib 12，并让 KV cache 留在显存里。12 GiB 是专家 RAM 预算，不是整个进程的内存上限，也不是通用的一键参数。所以选择 Strata，主要是这套配置已经在我的机器上把加载和显存利用跑通了，不是在证明它一定比 SGLang 快。SGLang 我还没试，也感谢提醒，后续可以在相同模型、量化和实际上下文条件下再比较。另外这里是按层拆分，双卡也不意味着单路对话速度自动翻倍。
项目配置：https://github.com/lunarmoon26/qwen3.8-flash-next
Strata：https://github.com/Niko1221/Strata -
不过双 RTX 6000 才跑到200，我能跑到 110 ， 我已经非常非常欣慰了， 毕竟价格差了20倍
@johnnybegood 但得看你的上下文是多少。一般来说60-80toks就能干活 但是得400K上下文。虽然很多模型是1m但其实400k左右是最有效的区间
-
@terry 关注老哥您的频道很久了 您讲话实在 而且直觉狠准。
之前一直潜水 没怎么发帖。这个论坛终于找到组织了。
现在我有2x DGX Spark，2x R9700，2x Pro6000有什么想法我可以跑跑评测
我的本职工作是在对冲基金写递归自我改进型AI系统 不过刚开始起步 还有很多需要学习
博客地址：https://blog.haochuanz.net/ 时不时发一些AI时代的想法和研究 完全免费 欢迎参观 -
@kop-wang 多谢提醒，我下面统一补充了 Strata 的配置，也去查了 SGLang 的源码和官方部署说明。我的机器是两张 96GB 显卡，但系统 RAM 只有 48GB，所以我主要担心的是主机内存，不只是显存够不够。
SGLang 并不是必须先把整个模型塞进 RAM 才能加载。 默认的 safetensors 路径使用 mmap，再把权重加载到 GPU；因此 checkpoint 大于 48GB，并不等于这台机器一定跑不了。实际还要看具体模型、量化、加载时的临时分配，以及有没有把大张量常驻到 CPU。
Qwen3.8-Flash-Next 这里有一个具体的坑：官方单张 RTX PRO 6000 的 NVFP4 配方，把约 47.7 GiB 的 PLE / N-gram 查表权重放进 pinned host RAM，并要求至少 64GB 空闲主机内存。这套配方原样照搬到我的 48GB 机器上就不合适。源码里 BF16 dtype 的 CUDA 路径也会默认启用 PLE offload。
不过我有两张卡，可以考虑用受支持的 RadixArk NVFP4 checkpoint，TP=2，并显式加
--no-ple-offload-embedding，让这张表也分片留在显存里。按部署说明里约 126 GiB 的权重规模看，这是有希望不改源码就跑通的方向；先不开 MTP、用短上下文验证，再检查加载峰值和可用上下文更稳妥。毕竟还要给 KV、Mamba 状态和临时空间留余量，不能直接保证 524K 实际输入也能用。NVFP4 checkpoint 和我现在 Strata 用的 UD-IQ4_XS GGUF 也不是同一套量化文件。所以我的判断是：48GB RAM 不是 SGLang 的硬性门槛，但默认参数或照抄单卡配方不一定适合这台机器；双卡全显存方案值得试。 我还没有在本机实测 SGLang，之前 DeepSeek 那套 vLLM 加载/转换遇到的内存问题，也不能直接当作 SGLang 跑 Qwen 不行的证据。现在继续用 Strata，主要是现有配置已经验证跑通了。
参考：
- SGLang 官方 Qwen3.8-Flash-Next 部署说明
- 双 RTX PRO 6000 的社区实测：证明这套 GPU 能跑，但其配方仍使用 pinned PLE，启动脚本要求 70GB 空闲 RAM，不能直接套用到我的机器。
-
大佬 你应该去玩玩project maya glm5.3 flash 应该会更爽
@applejuice 我测了一些场景， maya 因为是 2比特量化， 感觉不尽人意， 不如 strata iq4 更不如 UD-iq4
