比较流畅的跑Qwen 3.6 27B 模型本地部署，使用AI PRO R9700，主机怎么配置

[terry]

@tmp-tmp 一张不行。

[kos or]

AI Pro R9700的显卡 32GB 未來有需求可以擴增 x2 = 64GB 應該可以應付下一個3~5年 先選一個主板可以提供 x8/x8的PCIe配置
目前的模型好像...小模型也能有過去大模型的智商 64GB應該都夠用

[jatwu]

我买了讯景的卡，满载跟开飞机一样大声，楼主你买的蓝宝石会吗？

[wml-ai]

@jatwu 我也是蓝宝石R9700，满载时声音确实大，但是比起电水壶烧开水时还是差远了，时间长了就习惯了。

[terry]

@jatwu 一线品牌差距不大，蓝宝石做工稍好。

[wml-ai]

@kiner-liu AM5还有一款支持双卡的主板，铭瑄iCraft B850，1500RMB，也有两个PCIex16插槽，可以PCIe5.0 x8，性价比之选。

[ken chan]

本来还想提问相同的问题的，看来可以抄作业了

[ken chan]

如果以后出了一个40b的稠密大模型，两个R9700=64g,可以顺利运行吗？显存可以叠加使用的吧？还是说只能: a软件跑一个R9700, b软件跑一个R9700,

[ken chan]

diy主机，配件都是自己分别买，然后自己组装吗？
问了几家店，都说，没有R9700。感觉都是要自己组装的样子

[Vincent Chen]

@ken-chan
根據我的觀測。
用於語言大模型的話
一般的話，vram是會疊加。
例如，40gb的大模型
可以選擇平均分配到兩張gpu
Pipeline parallel
就是20放在1號卡
另外，20放在2號卡。
運算的時候會先跑1號，跟住跑2號
不斷重複。
根據我的觀察，這樣gpu不會太熱。因為有一定的休息時間。
速度會比單卡慢少少。

另外，可以設定為tensor parallel
同樣都是1號卡20gb 2號卡20gb
但兩張卡同時間運行。
每一個token計算完都會聚合在一起。
不斷重複。
好處是你可以同時間用到兩張gpu的 memory bandwidth
如果你的gpu 是800gb/s
兩張卡跑tp 就是800 x 2
不過要扣除每一token計算輸出時所用的時間
根據我的理解是，大約單卡是速度的1.5倍左右。

但是，如果跑圖片或視頻就應該不能了
只能夠一張一張卡跑。記憶體不能疊加。

[Wang Wei]

@wml-ai 这个不错 加车了