【實戰分享】單張 AMD Radeon AI PRO R9700 (32GB) 跑 Qwen 3.8 Flash + Hermes Agent 極致調教指南:85K~98K 超長上下文飆破 107.6 tok/s!
-
-
这个年代100k 还算是超长上下文吗?
-
-
-
你这个prefill速度不对劲,怎么只有1300tok/s,建议把--prefill 从 auto:6144 改成 auto:32768,32k以上输入情况下,prefill速度能提升到2600tok/s,32k以下输入也能保持2000tok/s。如果再把引擎升级到0.1.56(默认起草器从mtp变成了dflash2),prefill可以进一步提升到3000tok/s。
-
-
R9700真貴阿...今天pchome看到powercolor這張,75000都要吐血了
我前兩周買單張也才61000而已
話說你可以試試radiance,他對單張R9700的調校也很不錯
我這邊機器是w1370p + ddr4 96g (32x2 + 16x2) 2666 + R9700
跑iq4r精度, 256K上下文開滿,KV fp8可以優化到prefill 3500, decode 75左右
系統記憶體常駐64g左右
而且有多路併發decode需求,radiance因繼承vllm架構平行效果明顯較好 -
-
@game-game 有可能憾訊的散熱用料比較好吧...
但不管是69990還是74900,根據之前的經驗估計過2天就消失囉QQ -
@game-game 有可能憾訊的散熱用料比較好吧...
但不管是69990還是74900,根據之前的經驗估計過2天就消失囉QQ -
R9700真貴阿...今天pchome看到powercolor這張,75000都要吐血了
我前兩周買單張也才61000而已
話說你可以試試radiance,他對單張R9700的調校也很不錯
我這邊機器是w1370p + ddr4 96g (32x2 + 16x2) 2666 + R9700
跑iq4r精度, 256K上下文開滿,KV fp8可以優化到prefill 3500, decode 75左右
系統記憶體常駐64g左右
而且有多路併發decode需求,radiance因繼承vllm架構平行效果明顯較好 -
-
-
-

本帖参与讨论人数已达 10+,入选热议,作者 +3 积分奖励!

版主审定:本帖设为优秀,作者 +3 积分奖励,继续加油!