奖励凭证：热议 +3 分 · 编号 h2313-4518-1（系统自动发放，显示稍有延迟）

@张光璞 说:

仰望高端玩家，暴殄天物啊

附议： 内存应该加到512GB，然后直接上GLM 5.3 FLASH，全面起飞。

x8 + x8 够用了， 但如果后续需要跑更大的模型， 卸载到内存的话， 内存带宽的问题会很明显地显现， 我现在就很受其困扰， 一直在搜索合适的配件，我的目标是八通道 DDR4 3600 就可以， 这样的话内存带宽会达到 230.4 GB/s ， 比 DGXSpark还高， 在很多场景就很好用了，这个时候 x8 的 pcie 反而成了最瓶颈的那个。

硬盘就是pcie5x4两个+pcie4x4一个作为系统盘：

模型放pcie5盘上加载速度快

总之这个配置就是图一乐但也能干活。
噪音真没啥，限制了300w功耗外加调了CoolerControl曲线 非常安静 满载也就400w+

正问着呢， 去 blog看了一眼， 看到配置了。 那现在只剩下关于噪音和存储方式的疑问了。

另外发现楼主的主板好像不支持 2x PCIE 16x 也不支持 4通道内存？ 这个对这两张卡来说， 真的有点束手束脚了。

@lunarmoon26 说:

https://blog.haochuanz.net/

其实对大模型跑分不太关注，因为网上也很多类似视频，但我就是特别想知道一些细节，比如 2x Pro6000 跑在什么样的主板cpu，机箱型号是什么，散热如何处理， 噪音大不大，如果24小时工作，是不是需要放在单独的一个房间，电源是多少瓦，可能只有真正想搭建一套的人才有这么多疑问吧， 请不吝赐教。

SGLang 并不是必须先把整个模型塞进 RAM 才能加载。 默认的 safetensors 路径使用 mmap，再把权重加载到 GPU；因此 checkpoint 大于 48GB，并不等于这台机器一定跑不了。实际还要看具体模型、量化、加载时的临时分配，以及有没有把大张量常驻到 CPU。

Qwen3.8-Flash-Next 这里有一个具体的坑：官方单张 RTX PRO 6000 的 NVFP4 配方，把约 47.7 GiB 的 PLE / N-gram 查表权重放进 pinned host RAM，并要求至少 64GB 空闲主机内存。这套配方原样照搬到我的 48GB 机器上就不合适。源码里 BF16 dtype 的 CUDA 路径也会默认启用 PLE offload。

不过我有两张卡，可以考虑用受支持的 RadixArk NVFP4 checkpoint，TP=2，并显式加 --no-ple-offload-embedding，让这张表也分片留在显存里。按部署说明里约 126 GiB 的权重规模看，这是有希望不改源码就跑通的方向；先不开 MTP、用短上下文验证，再检查加载峰值和可用上下文更稳妥。毕竟还要给 KV、Mamba 状态和临时空间留余量，不能直接保证 524K 实际输入也能用。NVFP4 checkpoint 和我现在 Strata 用的 UD-IQ4_XS GGUF 也不是同一套量化文件。

所以我的判断是：48GB RAM 不是 SGLang 的硬性门槛，但默认参数或照抄单卡配方不一定适合这台机器；双卡全显存方案值得试。 我还没有在本机实测 SGLang，之前 DeepSeek 那套 vLLM 加载/转换遇到的内存问题，也不能直接当作 SGLang 跑 Qwen 不行的证据。现在继续用 Strata，主要是现有配置已经验证跑通了。

参考：

• SGLang 官方 Qwen3.8-Flash-Next 部署说明
• 双 RTX PRO 6000 的社区实测：证明这套 GPU 能跑，但其配方仍使用 pinned PLE，启动脚本要求 70GB 空闲 RAM，不能直接套用到我的机器。

1. 这台机器优先考虑低功耗、长期开机

两张 RTX 6000 Pro 工作站版都限制到了每张 300W，不是奔着满功耗刷最高跑分去的。服务器需要 24/7 开机，选择 9700X 也是出于这个考虑。

2. 关于截图里约 200 tok/s 和上下文

第二张 OpenCode 截图是实际使用时自己做的 Statsline 统计，不是统一条件下的框架对比跑分。这套配置用了 YaRN ×2，把原生 262,144 的上下文上限扩到了 524,288（约 524K）。

但配置了 524K 上限，不代表截图里的请求真的填满了 524K，也不能直接把这个速度全部归因于 RoPE 扩展。功耗限制、量化、实际输入长度、推测解码等条件都需要一起看；完整长上下文的效果也还需要单独测试。

3. 为什么显存这么大，还选择 Strata？

主要是这台机器的配置有点偏科：两张卡各有 96GB 显存，但系统内存只有 48GB。显存放得下，不代表加载过程就一定能在这点 RAM 里完成。

之前折腾 DeepSeek-V4-Flash-0731 时，我就在 vLLM 那套加载/转换流程里碰到了主机内存瓶颈，后来才用流式处理和 NVMe 上的缓存来解决。这里说的是我当时那套模型和实现的经历，不是说 vLLM 或 SGLang 都必须先把整个模型塞进 RAM：

• https://github.com/lunarmoon26/deepseek-v4-flash
• https://blog.haochuanz.net/posts/running-deepseek-v4-flash-0731-with-48gb-ram

Strata 吸引我的，是它已经有适合“小 RAM、大 VRAM”的权重加载和分层缓存机制。简单说：

• 模型文件留在 SSD 上，按需读取专家权重，通过有限的主机内存缓冲分批搬进 GPU cache，而不是先在 RAM 里保留一整份专家权重。
• 多卡按层分配；已经放进两张 GPU cache 的专家，不必再在主机 RAM 里常驻一份。放不下的部分才需要结合 RAM 预算和文件后备来处理。
• 关键是不需要先把全部专家权重同时装进系统内存，而不是完全绕过 RAM。 数据仍经过主机内存搬进显卡，不是 GPUDirect 式的 SSD 直传显存；传输缓冲、其他运行时数据和系统文件缓存仍然会占用 RAM。

我这次跑的是 Unsloth UD-IQ4_XS。项目验证记录里，双卡按层拆分后，全部 24,576 个专家都进了 GPU cache，专家缓存合计约 55.4 GiB；日志里的常驻专家 RAM 是 0 GiB。这个“0”只指专家权重的常驻 RAM 副本，不是整个程序不占内存，也不是说整个模型的所有数据都在显存里。 下载约 94GB，也不等于这些文件必须全部常驻 RAM 或 VRAM。

配置上还有一个坑：当时那个版本的 setup 在 Unsloth 多卡路径下会去掉 RAM budget，所以我先生成限额配置，再配置双卡按层拆分，保留 --resident-budget-gib 12，并让 KV cache 留在显存里。12 GiB 是专家 RAM 预算，不是整个进程的内存上限，也不是通用的一键参数。

所以选择 Strata，主要是这套配置已经在我的机器上把加载和显存利用跑通了，不是在证明它一定比 SGLang 快。SGLang 我还没试，也感谢提醒，后续可以在相同模型、量化和实际上下文条件下再比较。另外这里是按层拆分，双卡也不意味着单路对话速度自动翻倍。

项目配置：https://github.com/lunarmoon26/qwen3.8-flash-next
Strata：https://github.com/Niko1221/Strata

估计3500

@imbiplaza-ASUS said:

接下来应该人均5080 24gb

大概 US$2500~3000吧
都是用GB203晶片 不買了

除非 記憶體頻寬上 1.3T/s 才會考慮

按照现在5080的市价，应该要万8

我还记得当初5080丐版好像只要8000

接下来应该人均5080 24gb

@terry said:

真的是人均RTX Pro6000？

LCZ論壇本來是 人均RX7900 XTX, 快變成人均 RTX Pro 6000了

btw：191GB的显存，其实是可以直接sglang来运行的，为何要用strata……