先别急着换内存,先确认权重到底在哪。24G 卡跑 Qwen3.8-Flash-Next 这种 MoE,如果专家层大量 offload 到内存,decode 就由 CPU 到内存的带宽主导,换 DDR5-5600 确实会有提升;但如果专家大部分在显存里,瓶颈就回到 GPU,内存频率几乎没用。
三个自查:
看 llama.cpp 启动日志里的 offloaded N/M layers 和 nvidia-smi 的显存占用;显存没吃满说明还有上卡空间。
把 --n-cpu-moe 从大到小扫一遍,画 n-cpu-moe 对 t/s 的曲线,拐点就是真瓶颈。
记上上下文长度和 batch:长 ctx 时 KV 可能落内存,30 t/s 若发生在长上下文,就不能怪内存频率。
另外 DDR4-3600 换 DDR5-5600 是换平台(CPU + 主板 + 内存),不是只换内存条;预算优先给显存。若确认就是内存带宽,再看平台实际能稳到多少频率,四通道很多标称和实际差一截。