【分享】原地升天！R9700x2 从 Qwen3.8-27B-MXFP4 到 Qwen3.8-Flash-Next IQ4_R

[张光璞]

@paul-hou 说:

@applejuice 说:

@linkdesu 测一测512k context context offload 去ram strata 唯一的好处就是长上下文几乎没衰减

radiance用qfn也幾乎沒衰減，27B就衰減的很快比不上 sly vllm和paiton vllm，現在的radiance不算是vllm，已經是獨立的引擎和框架了，優點就是啟動不用一分鐘，vllm都是3分鐘起步。

说的我都心动了，现在是2块7900XTX 在跑QFN 。另两块9700 闲置。
已经采购电源模块准备折腾

[paul hou]

@张光璞 说:
radiance用qfn也幾乎沒衰減，27B就衰減的很快比不上 sly vllm和paiton vllm，現在的radiance不算是vllm，已經是獨立的引擎和框架了，優點就是啟動不用一分鐘，vllm都是3分鐘起步。 说的我都心动了，现在是2块7900XTX 在跑QFN 。另两块9700 闲置。 已经采购电源模块准备折腾

radiance 1.15.0之後有支持RDNA3，7900XTX能用。

[rongda weng]

@paul-hou 双7900XTX 性能上不知道提升怎么样

[shawn shen]

@paul-hou 请问未审查的模型有推荐的吗？我现在用的是作者转的https://huggingface.co/StillDeadcode/qwen3.8-next-flash-uncensored-fp8-iq4r-moe

[terry]

我说怎么并发这么能打，看来现在vLLM又开始活跃了。

[applejuice]

@terry 已经从vllm 分出来了
之前是vllm 的fork
现在完全脱离出来 用c++重写

[terry]

@applejuice 挺好，其实这样更容易掌控，而且现在写代码让AI来搞，团队维护逻辑优化即可。

[paul hou]

@shawn-shen

目前還沒看到有其他的未審查版本。

[张光璞]

@paul-hou 说:

@张光璞 说:
radiance用qfn也幾乎沒衰減，27B就衰減的很快比不上 sly vllm和paiton vllm，現在的radiance不算是vllm，已經是獨立的引擎和框架了，優點就是啟動不用一分鐘，vllm都是3分鐘起步。 说的我都心动了，现在是2块7900XTX 在跑QFN 。另两块9700 闲置。 已经采购电源模块准备折腾

radiance 1.15.0之後有支持RDNA3，7900XTX能用。

整！

[linkdesu]

@paul-hou 谢谢分享，我去研究下，现在一个模型 100GB 多，下载起来不是一般的费机场流量，搞得我都不敢随便下了

[linkdesu]

@张光璞 这电源太夯了，我看到 1600W 要用空调插座，想了想家里提前也没考虑这布线，还是就上了 1200W 稳一点了

[空语]

@张光璞 那你这双7900还不如单7900啊

[Xiaote]

本帖参与讨论人数已达 10+，入选热议，作者 +3 积分奖励！

奖励凭证：热议 +3 分 · 编号 h2807-1746-1

[paul hou]

RADIANCE的2併發還滿順暢的
模型是frank8465/Swift-1.5-Qwen3.8-Flash-Next-GPTQ-W4A8-Radiance-AMD-R9700

[张光璞]

@空语 说:

@张光璞 那你这双7900还不如单7900啊

我是双卡双实例。 没跑TP。 并且我出口只有gen3x8 （疑似） 下游接的是交换机配双7900xtx

[张光璞]

@linkdesu 说:

@张光璞 这电源太夯了，我看到 1600W 要用空调插座，想了想家里提前也没考虑这布线，还是就上了 1200W 稳一点了

显卡瞬间能600w ，如果是4卡的话，你一提问直接就12V 短路保护。

[张光璞]

@paul-hou 说:

RADIANCE的2併發還滿順暢的
模型是frank8465/Swift-1.5-Qwen3.8-Flash-Next-GPTQ-W4A8-Radiance-AMD-R9700

我已经下好了，今天晚上决战。

[韦春花]

@张光璞 70确实低了，我7900xtx单卡跑IQ3S衰减后稳定在85-90tok/s，单卡跑Q4_k_xl在55-65tok/s。

[张光璞]

@韦春花 说:

@张光璞 70确实低了，我7900xtx单卡跑IQ3S衰减后稳定在85-90tok/s，单卡跑Q4_k_xl在55-65tok/s。

已经切换至双R9700 跑Radiance

[paul hou]

@张光璞

RADIANCE是跑IQ4，還是能明顯感覺到3BIT和4BIT還是有差的。