<![CDATA[strata跑QFN模型的速度越来越快了，要及时更新]]>图片里能看见 decode最高149 tok/s, prefilll 最高 3199 tok/s ,

256K上下文， AMD R9700 32G+80G ddr4，

不知道Qwen4 flash next啥时候出来

3200高速.png

]]>https://lcz.me/topic/2911RSS for NodeTue, 10 Nov 2026 03:02:04 GMTSun, 08 Nov 2026 04:54:58 GMT60<![CDATA[Reply to strata跑QFN模型的速度越来越快了，要及时更新 on Mon, 09 Nov 2026 09:23:36 GMT]]>这个作者确实更新勤快，现在都倒逼llama.cpp 那些跟进了，再不努力点 消费平台没人用llama.cpp了。

]]>https://lcz.me/post/32166https://lcz.me/post/32166Mon, 09 Nov 2026 09:23:36 GMT<![CDATA[Reply to strata跑QFN模型的速度越来越快了，要及时更新 on Mon, 09 Nov 2026 08:58:28 GMT]]>@applejuice 试试😊

]]>https://lcz.me/post/32158https://lcz.me/post/32158Mon, 09 Nov 2026 08:58:28 GMT<![CDATA[Reply to strata跑QFN模型的速度越来越快了，要及时更新 on Mon, 09 Nov 2026 08:30:24 GMT]]>@JumpEggKiller 不确定是不是平台不一样

https://github.com/Niko1221/Strata/issues/4875

你可以试试

]]>https://lcz.me/post/32145https://lcz.me/post/32145Mon, 09 Nov 2026 08:30:24 GMT<![CDATA[Reply to strata跑QFN模型的速度越来越快了，要及时更新 on Mon, 09 Nov 2026 06:28:57 GMT]]>@applejuice 怎么做到的

]]>https://lcz.me/post/32112https://lcz.me/post/32112Mon, 09 Nov 2026 06:28:57 GMT<![CDATA[Reply to strata跑QFN模型的速度越来越快了，要及时更新 on Sun, 08 Nov 2026 17:35:29 GMT]]>@JumpEggKiller 我的2x3090 最少4300 ，dp 5300. 功耗限制250w

ngrem要放ram 如果ssd 没有dram 影响很大

]]>https://lcz.me/post/31980https://lcz.me/post/31980Sun, 08 Nov 2026 17:35:29 GMT<![CDATA[Reply to strata跑QFN模型的速度越来越快了，要及时更新 on Sun, 08 Nov 2026 16:46:17 GMT]]>我的2*3090 prefill干到3500，decode 140，4卡prefill4700，但是decode掉到20

]]>https://lcz.me/post/31973https://lcz.me/post/31973Sun, 08 Nov 2026 16:46:17 GMT