【分享】原地升天!R9700x2 从 Qwen3.8-27B-MXFP4 到 Qwen3.8-Flash-Next IQ4_R
-
@linkdesu 测一测512k context context offload 去ram strata 唯一的好处就是长上下文几乎没衰减
radiance用qfn也幾乎沒衰減,27B就衰減的很快比不上 sly vllm和paiton vllm,現在的radiance不算是vllm,已經是獨立的引擎和框架了,優點就是啟動不用一分鐘,vllm都是3分鐘起步。
说的我都心动了,现在是2块7900XTX 在跑QFN 。另两块9700 闲置。
已经采购电源模块准备折腾


-
-
-
-
-
-
-
-
-
-
@linkdesu 国内的魔塔社区没这个模型吗?
-
-
-
-
-
-
-
@张光璞 你肯定配置的不对,我也是双7900xtx,正常情况下稳在100左右,对了,我是64g内存,然后ddr4的pice3.0X8和X4的通道,输入最高能上3500左右,代码场景的话能上到130去,我开的386k上下文,超过256k上下文的时候降速到80左右

本帖参与讨论人数已达 10+,入选热议,作者 +3 积分奖励!

