比较流畅的跑Qwen 3.6 27B 模型本地部署，使用AI PRO R9700，主机怎么配置
-
-
你这个配置可能有点儿问题, X670E 战斧导弹 无法拆分为两个 pcie X8, 你将来上第二块R9700 只能跑在 pcie X4上面. CPU可以降级为 9700X, 功耗更低些.
散热可以选猫头鹰 D15S, 压制 9900X, 9700X 完全没有问题, 而且给你的内存留出了空间.
我查了多个AI, 它们对于 第一条 pcie 5.0 X16 是否能差分为两个 X8, 给出了混乱的矛盾的回答. 逼的我最后只能上官网去查.
我现在唯一能确定的, 是 MPG X670E CARBON WIFI 暗黑 明确支持拆分为 两个X8. 它的2槽是从CPU出去的.
3x PCI-E x16 插槽（数量） • Supports x16/x0/x4 or x8/x8/x4 (For Ryzen™ 9000/ 7000 Series processors) • Supports x8/x0/x4 (For Ryzen™ 8700/ 8600/ 8400 Series processors) • Supports x4/x0/x4 (For Ryzen™ 8500/ 8300 Series processors) PCI_E1 Gen PCIe 5.0 supports up to x16 (From CPU) PCI_E2 Gen PCIe 5.0 supports up to x8 (From CPU) PCI_E3 Gen PCIe 4.0 supports up to x4 (From Chipset)而 MAG X670E TOMAHAWK WIFI 明确不支持 两个 X8 拆分, 它的2槽是从芯片组过去的.
3x PCI-E x16 插槽（数量） • Supports x16/x4/x2 (For Ryzen™ 9000/ 7000 Series processors) • Supports x8/x4/x2(For Ryzen™ 8700/ 8600/ 8400 Series processors) • Supports x4/x2/x2 (For Ryzen™ 8500/ 8300 Series processors) 1x PCI-E x1 插槽（数量） PCI_E1 Gen PCIe 5.0 supports up to x16 (From CPU) PCI_E2 Gen PCIe 3.0 supports up to x1 (From Chipset) PCI_E3 Gen PCIe 4.0 supports up to x4 (From CPU) PCI_E4 Gen PCIe 4.0 supports up to x2 (From Chipset) *PCI_E4 & M2_4 share the bandwidth. M2_4 will run at x2 speed when installing device in the PCI_E4 slot. -
你这个配置可能有点儿问题, X670E 战斧导弹 无法拆分为两个 pcie X8, 你将来上第二块R9700 只能跑在 pcie X4上面. CPU可以降级为 9700X, 功耗更低些.
散热可以选猫头鹰 D15S, 压制 9900X, 9700X 完全没有问题, 而且给你的内存留出了空间.
我查了多个AI, 它们对于 第一条 pcie 5.0 X16 是否能差分为两个 X8, 给出了混乱的矛盾的回答. 逼的我最后只能上官网去查.
我现在唯一能确定的, 是 MPG X670E CARBON WIFI 暗黑 明确支持拆分为 两个X8. 它的2槽是从CPU出去的.
3x PCI-E x16 插槽（数量） • Supports x16/x0/x4 or x8/x8/x4 (For Ryzen™ 9000/ 7000 Series processors) • Supports x8/x0/x4 (For Ryzen™ 8700/ 8600/ 8400 Series processors) • Supports x4/x0/x4 (For Ryzen™ 8500/ 8300 Series processors) PCI_E1 Gen PCIe 5.0 supports up to x16 (From CPU) PCI_E2 Gen PCIe 5.0 supports up to x8 (From CPU) PCI_E3 Gen PCIe 4.0 supports up to x4 (From Chipset)而 MAG X670E TOMAHAWK WIFI 明确不支持 两个 X8 拆分, 它的2槽是从芯片组过去的.
3x PCI-E x16 插槽（数量） • Supports x16/x4/x2 (For Ryzen™ 9000/ 7000 Series processors) • Supports x8/x4/x2(For Ryzen™ 8700/ 8600/ 8400 Series processors) • Supports x4/x2/x2 (For Ryzen™ 8500/ 8300 Series processors) 1x PCI-E x1 插槽（数量） PCI_E1 Gen PCIe 5.0 supports up to x16 (From CPU) PCI_E2 Gen PCIe 3.0 supports up to x1 (From Chipset) PCI_E3 Gen PCIe 4.0 supports up to x4 (From CPU) PCI_E4 Gen PCIe 4.0 supports up to x2 (From Chipset) *PCI_E4 & M2_4 share the bandwidth. M2_4 will run at x2 speed when installing device in the PCI_E4 slot. -
我刚配好，拼多多2800元, 2686v4*2,x99,1T，64g，不带显卡，显卡京东1.1万，电源700w，我自己换了1200w，长城750元。预装win10,本来想玩玩游戏再搞模型，win弹窗弹的难受，赶紧装了ubuntu，还在摸索，洋垃圾太强了
-
@ken-chan
根據我的觀測。
用於語言大模型的話
一般的話，vram是會疊加。
例如，40gb的大模型
可以選擇平均分配到兩張gpu
Pipeline parallel
就是20放在1號卡
另外，20放在2號卡。
運算的時候會先跑1號，跟住跑2號
不斷重複。
根據我的觀察，這樣gpu不會太熱。因為有一定的休息時間。
速度會比單卡慢少少。另外，可以設定為tensor parallel
同樣都是1號卡20gb 2號卡20gb
但兩張卡同時間運行。
每一個token計算完都會聚合在一起。
不斷重複。
好處是你可以同時間用到兩張gpu的 memory bandwidth
如果你的gpu 是800gb/s
兩張卡跑tp 就是800 x 2
不過要扣除每一token計算輸出時所用的時間
根據我的理解是，大約單卡是速度的1.5倍左右。但是，如果跑圖片或視頻就應該不能了
只能夠一張一張卡跑。記憶體不能疊加。 -
@kiner-liu AM5还有一款支持双卡的主板，铭瑄iCraft B850，1500RMB，也有两个PCIex16插槽，可以PCIe5.0 x8，性价比之选。
