分享：4090/48G, R9700/32G, AI Max 395 (8060S) 跑大语言模型的实测数据

[Fred]

@terry 说:

@Fred 我草，这绝对精华帖子，我要做一个单独视频，给老弟署名。你给弄几张 截图啊，最好是黑乎乎的背景，显得逼格高点。卡和设备给我再拍几张图片发进来。我做完视频加入这个链接，让大家来膜拜下你。

哈哈不用单做视频特哥。我经常看你油管，学到很多东西，想着回报一下你。我的资料你随便用在视频里面。我是属于那种闲散玩法，比较佛系，有时间就来吹吹牛逼，分享点内容。不过我这个配置是有误导性的：不推荐显卡坞，有条件一定是尽量PCIE直连。我这是属于放养式玩法，不是生产力的标配，可靠性，性能都比PCIE直连差点意思。

[Fred]

@David-Zhang 说:

作业牛逼，可以置顶！

谢谢看帖和肯定！

[terry]

@Fred 赶紧补图，我好白嫖一期，你这配置怎么能算误导呢？再说了，还得看我怎么写视频脚本对吧。

[Fred]

@terry 说:

@Fred 赶紧补图，我好白嫖一期，你这配置怎么能算误导呢？再说了，还得看我怎么写视频脚本对吧。

行。明天我再硬件板块那个原贴里补些细节图。

[James Wei]

我是395用户，最近上了MTP，体验感好了很多，Qwen3.5-122B-A10B-Q4KXL可以跑到32t/s，Qwen3.6-35B-A3B-Q8KXL可以跑到55t/s，APEX-balance量化可以跑到75t/s， Qwen3.6-27B-Q4KXL可以跑到25t/s

[Fred]

@James-Wei 说:

我是395用户，最近上了MTP，体验感好了很多，Qwen3.5-122B-A10B-Q4KXL可以跑到32t/s，Qwen3.6-35B-A3B-Q8KXL可以跑到55t/s，APEX-balance量化可以跑到75t/s， Qwen3.6-27B-Q4KXL可以跑到25t/s

对。我也测试过那个PR，MTP确实是对TG速度效果显著。目前还有些限制，必然PP速度降低，多模态功能被抹掉，我就暂时不上，坐等MTP合入llama.cpp主线，然后AI MAX 395就能凭空性能翻倍了。

[xiaopbro]

实测R9700，和楼主说的一样，跑qwen3.6-27b-q4挺慢的

[Pita]

這真的是超級乾貨了...一百個讚

[mark]

牛逼啊.... 感谢楼主分享.
祝楼主福如东海,寿比南山.

[linghu007]

R9700还是在我意向购买的最终目标中，因为架构更新，未来支持更久，虽然慢点，但可以支持4卡并联，性价比也高。