strata跑QFN模型的速度越来越快了，要及时更新

[sospda]

图片里能看见 decode最高149 tok/s, prefilll 最高 3199 tok/s ,

256K上下文， AMD R9700 32G+80G ddr4，

不知道Qwen4 flash next啥时候出来

[JumpEggKiller]

我的2*3090 prefill干到3500，decode 140，4卡prefill4700，但是decode掉到20

[applejuice]

@JumpEggKiller 我的2x3090 最少4300 ，dp 5300. 功耗限制250w

ngrem要放ram 如果ssd 没有dram 影响很大

[JumpEggKiller]

@applejuice 怎么做到的

[applejuice]

@JumpEggKiller 不确定是不是平台不一样

https://github.com/Niko1221/Strata/issues/4875

你可以试试

[JumpEggKiller]

@applejuice 试试

[stxpnet]

这个作者确实更新勤快，现在都倒逼llama.cpp 那些跟进了，再不努力点 消费平台没人用llama.cpp了。