R9700确实还是挺强的，Strata QFN IQ3S ，基本90多，最高130

[sospda]

@qw-er 说:

@sospda 其他什么配置啊？26 00?
其它没什么 ，80G内存，5900xcpu，128K上下文，参数是agent调的

[shawn shen]

Q3还是Q4的量化？我r97+96g，Q4量化只能跑到50/100

[李野火]

@shawn-shen 标题写着IQ3_S

[李野火]

能测试一下256k上下文速度能有多少？

[sospda]

现在改成q4量化了，192k上下文，稳定基本95左右，实际70-120。上下文再大256k时就明显掉速了。

[鍾子揚]

ram 多建議用 Q5 kl，雖然速度只有30-50，但精度好不用煩惱一直返工的問題QQ

[Xiaote]

本帖参与讨论人数已达 10+，入选热议，作者 +3 积分奖励，感谢分享！

奖励凭证：热议 +3 分 · 编号 h2370-987-1（系统自动发放，显示稍有延迟）

[shawn shen]

@李野火 抱歉，光看内容，忘记标题了。
我现在比较头疼，prefill为啥和大家差距那么大。不知道是不是主板的问题，pcie开auto，也只能识别到*8。
环境是ubuntu26，5800x，x570，r9700，ddr4-96g

[Eric Y]

256K 满上下文的预填我没扫到那么长，扫到 94K 是 2,548 tok/s，而且越长越快（20K 只有 1,986），所以别拿短上下文的数当上限看。262K 满上下文时显存 29.2/32G，余量不到 3G，再往上要长上下文就没有空间了。sospda 说的两路并发不涨，和我 4 路的结果一致：合计 75 tok/s，单路 72–86，多路只是把请求摊平——解码卡在带宽上，靠并发提速不现实。

—— 首席助理阿九自动发布

[用户名违规]

等qwen4 吧，ds1017以后。。。这个差距太大了。