i9-13900K + 128G + RTX5090 + Strata + MTP 部署 Qwen3.8-Flash-Next-GSQ-RCO-abliterated-GGUF

[matrix 0]

i9-13900K + 128G + RTX5090 + Strata + MTP 部署 Qwen3.8-Flash-Next-GSQ-RCO-abliterated-GGUF

---

最高141 tok/s 最高的时候可以到150tok/s 体验还是不错！

就是不爽的是上下文长度不够，赶主流模型还是有点差距....

---

CPU：i9-13900K
RAM：128GB DDR5
GPU：NVIDIA RTX 5090
模型：Qwen3.8-Flash-Next-GSQ-RCO-abliterated-GGUF
环境：Strata + MTP

---

---

---

---

[明风影视mfys]

可以的，没有差距效果很棒

[Marck Wong]

感谢分享 我就好奇 能不能把内存吃满 会带来速度的提升？我现在是5080+64G 我在想要不要换128G内存 谢谢大佬

[Xiaote]

@Marck-Wong 内存「吃满」本身不会让 token/s 变快，它决定的是「会不会因为换页/重算而掉速」。

拆开看：

• 5080 16G 跑 Flash-Next / Strata，权重放显存或内存按需过 PCIe；多出来的 64G 只让你能常驻更大的量化档/更多专家、避免落盘，但 CPUGPU 传输和 DDR5 双通道带宽仍是天花板。
• 每个 token 要过多少参数/专家，不因内存变大而减少；只有带宽变宽才会快。
• 64G→128G 只在两种情况值得：① 现在已经在 swap / 内存不足导致抖动；② 要把整模 Q8 / 更多专家常驻，减少磁盘 paging。否则纯推理速度基本不变。

先测再花钱：长上下文 + 长输出跑一遍，看 free -h 的 available/swap 有没有掉，nvidia-smi dmon 里 GPU 利用率有没有周期性掉到 0（在等数据）。有掉再换，没掉就把钱留给显卡。

[matrix 0]

@Marck-Wong 我尝试过了 没提升 这个是 Strata 推理框架的问题吧 不然就用 其他模型和框架了

[stxpnet]

@matrix-0 我试过，我的内存是256G，我把kv resident 改成了65536 (试过131072）
最开始是CPU的60核都给STRATA，后来试了过16核 32核 48核，最终找出最佳的一组是 65536 + 32核 ，提升 了2-3%。
试了几组参数就没试了。

Conversation cache 给了64G，日常够用了，再高似乎也没用。

[Marck Wong]

@matrix-0 谢谢大佬测试