比较流畅的跑Qwen 3.6 27B 模型本地部署，使用AI PRO R9700，主机怎么配置

[wml-ai]

@terry 说:

@wml-ai 不开机的话噪音更小。Mac mini就是废物，没与任何资格和R9700相比，M3 Ultra，M4 Pro，M5 Max的用户都发了实测了，你能比他们配置还高？

我只是说噪音这方面，生产力方面肯定是比不过N卡。

[Brian]

我刚配好，拼多多2800元, 2686v4*2,x99,1T，64g，不带显卡，显卡京东1.1万，电源700w，我自己换了1200w，长城750元。预装win10,本来想玩玩游戏再搞模型，win弹窗弹的难受，赶紧装了ubuntu，还在摸索，洋垃圾太强了

[Brian]

安装了hermes，配了ds V4 pro，太省事了，不用怎么折腾

[andyfay]

@Brian 配置方便分享下，多谢！

[Kiner Liu]

雙卡am5主板可以考慮 gigabyte b850 ai top, asrock x870e creator, asus x870e proart，都是原生兩根pcie 5.0 x8。四卡sTR5主板就要上TRX50/WRX90系列了。

[tmp tmp]

@terry 老特，请教一下，一张r9700 32g，配你说的主板和64G内存，可以同时运行hermes，qwen3.6-27b和comfyui吗？

• 列表

[terry]

@tmp-tmp 一张不行。

[kos or]

AI Pro R9700的显卡 32GB 未來有需求可以擴增 x2 = 64GB 應該可以應付下一個3~5年 先選一個主板可以提供 x8/x8的PCIe配置
目前的模型好像...小模型也能有過去大模型的智商 64GB應該都夠用

[jatwu]

我买了讯景的卡，满载跟开飞机一样大声，楼主你买的蓝宝石会吗？

[wml-ai]

@jatwu 我也是蓝宝石R9700，满载时声音确实大，但是比起电水壶烧开水时还是差远了，时间长了就习惯了。

[terry]

@jatwu 一线品牌差距不大，蓝宝石做工稍好。

[wml-ai]

@kiner-liu AM5还有一款支持双卡的主板，铭瑄iCraft B850，1500RMB，也有两个PCIex16插槽，可以PCIe5.0 x8，性价比之选。

[ken chan]

本来还想提问相同的问题的，看来可以抄作业了

[ken chan]

如果以后出了一个40b的稠密大模型，两个R9700=64g,可以顺利运行吗？显存可以叠加使用的吧？还是说只能: a软件跑一个R9700, b软件跑一个R9700,

[ken chan]

diy主机，配件都是自己分别买，然后自己组装吗？
问了几家店，都说，没有R9700。感觉都是要自己组装的样子

[Vincent Chen]

@ken-chan
根據我的觀測。
用於語言大模型的話
一般的話，vram是會疊加。
例如，40gb的大模型
可以選擇平均分配到兩張gpu
Pipeline parallel
就是20放在1號卡
另外，20放在2號卡。
運算的時候會先跑1號，跟住跑2號
不斷重複。
根據我的觀察，這樣gpu不會太熱。因為有一定的休息時間。
速度會比單卡慢少少。

另外，可以設定為tensor parallel
同樣都是1號卡20gb 2號卡20gb
但兩張卡同時間運行。
每一個token計算完都會聚合在一起。
不斷重複。
好處是你可以同時間用到兩張gpu的 memory bandwidth
如果你的gpu 是800gb/s
兩張卡跑tp 就是800 x 2
不過要扣除每一token計算輸出時所用的時間
根據我的理解是，大約單卡是速度的1.5倍左右。

但是，如果跑圖片或視頻就應該不能了
只能夠一張一張卡跑。記憶體不能疊加。

[Wang Wei]

@wml-ai 这个不错 加车了