R9700确实还是挺强的，Strata QFN IQ3S ，基本90多，最高130

[terry]

MOE需要的带宽没那么高，所以显存更有用。

[applejuice]

@sospda prefill 那么低吗？ 我之前测试都有1000以上

[Tzung-Ru Tsai]

要拉高prefill的話，chunk size調高一點應該會有改善，有32G VRAM不怕被拿去充當暫時性快取

[sospda]

重新安装 了win11， prefill提升恐怖。从650 直接提升 到2600

[张光璞]

@sospda 说:

重新安装 了win11， prefill提升恐怖。从650 直接提升 到2600

???? 直接 X 4了？ 不在linux 下试试吗？

[applejuice]

@sospda 2600 那么夸张

[sospda]

@applejuice 说:

@sospda 2600 那么夸张

确实很夸张啊 ， win11 26H2，才装的系统

[sospda]

@张光璞 说:

@sospda 说:

重新安装 了win11， prefill提升恐怖。从650 直接提升 到2600

???? 直接 X 4了？ 不在linux 下试试吗？

没地方装linux了， win下传感器显示有点问题 ，pcie 的速度 显示不出来，vram也显示不了。

这个速度感觉已经可以实用了，decode 现在120-130很常见，

[applejuice]

r9700 翻身

[sospda]

现在上下文改到128K了， decode 速度基本稳在100 ，

最低70，最高135 。

prefill最高就是2600，越用越好用了。

已经接入hermes开始 干活

，zvggd

[sospda]

试验了 一下，可以双并发，单128K拆分成2路64K，

但是速度并 没有提高，两路加起来和单路 差不多。

开两路 ，实际1路使用，速度和开1路基本一样 。

改回单路128K了，比2个64K上下文好用。

[he wanga]

我個人認為R9700一點都不強，就這解碼100 tok/s根本沒甚麼
(因為我還沒買到雙卡，求求各位玩R9700的大神們評測先跑小力一點)

[qw er]

@sospda 其他什么配置啊？26 00?

[sospda]

@qw-er 说:

@sospda 其他什么配置啊？26 00?
其它没什么 ，80G内存，5900xcpu，128K上下文，参数是agent调的

[shawn shen]

Q3还是Q4的量化？我r97+96g，Q4量化只能跑到50/100

[李野火]

@shawn-shen 标题写着IQ3_S

[李野火]

能测试一下256k上下文速度能有多少？

[sospda]

现在改成q4量化了，192k上下文，稳定基本95左右，实际70-120。上下文再大256k时就明显掉速了。

[鍾子揚]

ram 多建議用 Q5 kl，雖然速度只有30-50，但精度好不用煩惱一直返工的問題QQ

[Xiaote]

本帖参与讨论人数已达 10+，入选热议，作者 +3 积分奖励，感谢分享！

奖励凭证：热议 +3 分 · 编号 h2370-987-1（系统自动发放，显示稍有延迟）