【分享】原地升天！R9700x2 从 Qwen3.8-27B-MXFP4 到 Qwen3.8-Flash-Next IQ4_R

[张光璞]

@paul-hou 说:

RADIANCE的2併發還滿順暢的
模型是frank8465/Swift-1.5-Qwen3.8-Flash-Next-GPTQ-W4A8-Radiance-AMD-R9700

我已经下好了，今天晚上决战。

[韦春花]

@张光璞 70确实低了，我7900xtx单卡跑IQ3S衰减后稳定在85-90tok/s，单卡跑Q4_k_xl在55-65tok/s。

[张光璞]

@韦春花 说:

@张光璞 70确实低了，我7900xtx单卡跑IQ3S衰减后稳定在85-90tok/s，单卡跑Q4_k_xl在55-65tok/s。

已经切换至双R9700 跑Radiance

[paul hou]

@张光璞

RADIANCE是跑IQ4，還是能明顯感覺到3BIT和4BIT還是有差的。

[freeman gemmy]

@linkdesu 国内的魔塔社区没这个模型吗？

[shawn shen]

@张光璞 坛友推荐得这个：https://huggingface.co/frank8465/Swift-1.5-Qwen3.8-Flash-Next-GPTQ-W4A8-Radiance-AMD-R9700

[张光璞]

@paul-hou 说:

@张光璞

RADIANCE是跑IQ4，還是能明顯感覺到3BIT和4BIT還是有差的。

我是半残P2P + 半残内存带宽 （我的一个内存槽报供电不足）

速度有125T Prefill 有3~4K . 我很满意

[张光璞]

@shawn-shen 说:

@张光璞 坛友推荐得这个：https://huggingface.co/frank8465/Swift-1.5-Qwen3.8-Flash-Next-GPTQ-W4A8-Radiance-AMD-R9700

现在跑的就是这个

[paul hou]

@张光璞

DECODE差不多，PREFILL就慢了點，只比單卡快一些，這個目前試起來跟DRAM和PCIE是有相關。

[张光璞]

@paul-hou 说:

@张光璞

DECODE差不多，PREFILL就慢了點，只比單卡快一些，這個目前試起來跟DRAM和PCIE是有相關。

我正好这两点是死穴，我原本是想把 CPU1 的内存带宽提上去，所以又单独买了两条 32G 的，想把内存插满 4 条。这好嘛，直接一个内存槽有问题，当场废了一半武功系！

[坤坤]

@张光璞 你肯定配置的不对，我也是双7900xtx，正常情况下稳在100左右，对了，我是64g内存，然后ddr4的pice3.0X8和X4的通道，输入最高能上3500左右，代码场景的话能上到130去，我开的386k上下文，超过256k上下文的时候降速到80左右

[张光璞]

@坤坤 说:

@张光璞 你肯定配置的不对，我也是双7900xtx，正常情况下稳在100左右，对了，我是64g内存，然后ddr4的pice3.0X8和X4的通道，输入最高能上3500左右，代码场景的话能上到130去，我开的386k上下文，超过256k上下文的时候降速到80左右

晚上到梁文谷的时候，再让鲸鲸调调。

现在130t 左右 已经很满足了。