抡锤者

“系统内存不参与” 这个结论不对，前段时间试过用1张7900xt跑H3模型int8权重，20G显存可以跑，系统内存肯定是参与卸载的

windows不知道，linux可以的

@fcys 代码方便分享看看吗？存到网盘之类的

有github地址吗

不要盯着decode看，prefill才是关键，ds v4.1这种模型 prefill不上个 1500基本没法用，不如线上API
R9700 prefill上不去应该是显存带宽太低的原因（我猜的）

这可以跑glm5.3了吧，羡慕，顶级模型 token自由

看你这份评测 Q3 比 Q4强太多，不应该呀，有点反直觉

是哪个模型画的？

最近用起来就是很诡异，看来大家都有这种感受

用的deepseek官方API，这模型刚出前几天确实很惊艳，这两天不知为何变得这么拉。

昨晚让他帮我在huggingface下载个模型，很简单的任务对吧，结果不知为何反复下载模型的一小部分，费了我几百GB流量。。。

还有一个让他帮我整理一份视频会议，有精准字幕和时间戳给他，让他截图配合文字转录会议，结果截图截的驴头不对马腿，让其review好几次才能完工。

大家感觉到降智吗？

我的GMK EVO-X2 （Ryzen AI MAX+ 395 / Radeon 8060S / gfx1151，128G，ubuntu26）部署单流速度在 30t--45t 不等，跑并发速度就很难看了

另外，我记得x99主板好像没有ReBAR，就看不到全部GPU显存地址，你买这个pcie switch也没啥用啊

用Pcie switch提升的是deocde还是prefill速度？