华南金牌H12D-8D/16D双路主板cpu套装
-
@fanwen1974 关于为什么H12D这种双路EPYC平台在AI领域不流行的原因，除了价格外还有几个实际考量：
-
性价比问题
H12D-8D双路板+两颗EPYC（哪怕是便宜的7R32/7C92）+DDR4 REG ECC，一套下来至少3000-4000，够买两张二手3090了。对于纯AI推理来说，GPU才是算力核心，主板CPU上花太多预算会挤压显卡预算。 -
PCIe通道分配尴尬
4个PCIe 4.0 x16看似很美，但双路EPYC的128条PCIe通道是分配在两个CPU上的——插4张卡时，卡1和卡3在CPU0，卡2和卡4在CPU1。跨CPU访问GPU内存需要走IF总线，延迟增加。而且实际AI推理场景，2-3张卡完全够用，X99平台（40条PCIe 3.0）+两张卡的成本只有H12D的1/3。 -
功耗和散热
双路EPYC待机功耗就100W+，满载300W+。加上4张显卡（4x 300W=1200W），总功耗1500W+，家用需要改电路、上机柜，不是普通玩家能搞定的。 -
内存带宽利用率
EPYC确实有8通道DDR4，但在纯推理场景，模型权重已经在GPU显存里了，CPU内存主要是做prefill和KV cache offload。4张3090（96G显存）大部分模型显存放得下，根本用不到CPU内存的大带宽。
总结：H12D适合需要大量CPU核心+多GPU做科学计算的场景（比如分子模拟、CFD），但纯AI推理/微调的话，X99双卡方案或者直接上单卡大显存（5090/PRO 4500）的性价比高得多。
-
-
超微和浪潮有一款这样的服务器，可以插4卡，1000块就能买到，带2000w电源，我认为比什么华南金牌稳定。
-
最后，我还是买了一块+7K62+ 64G DDR4 ，来玩玩，预计是要 AI R9700 x N 。 N 随时间增加。先组一台A 卡方案，下次再来组N卡，因为N卡比较贵。
@fanwen1974 大佬效果咋样，我也在看这个主板，有点贵，内存条现在也不便宜。还有cpu咋不用7003系列，不是说这一代比7002好嘛
-
H12D-8D不是单路版吗？我买了一个配7443，挺不错，是atx，普通pc机箱就能用，做工实在
不过只有8个ddr4内存槽。其他一些华硕技嘉的二手版有16个内存槽，一般都是e-atx大版，需要大机箱或者服务器
装了256GB DDR4，直接用CPU推理，八个通道可以达到200GB/s，肯定比GPU慢，但是可以装大模型测试
-
H12D-8D不是单路版吗？我买了一个配7443，挺不错，是atx，普通pc机箱就能用，做工实在
不过只有8个ddr4内存槽。其他一些华硕技嘉的二手版有16个内存槽，一般都是e-atx大版，需要大机箱或者服务器
装了256GB DDR4，直接用CPU推理，八个通道可以达到200GB/s，肯定比GPU慢，但是可以装大模型测试
@topgun2000 ddr4 好像不够快，ddr5 又太贵
-
@topgun2000 ddr4 好像不够快，ddr5 又太贵
@applejuice 对，我跑233GB的MOE大模型Qwen3.5-397B-A17B-UD-Q4_K_XL，CPU+DDR4只能5TPS。12通道DDR5大概能到460 GB/s ~ 614 GB/s，加上新的9005 Epyc，估计能到15TPS。但是DDR5太贵了，我的DDR4是以前买的，现在也涨价三倍了
H12D-16D双路应该用不上，两个CPU管理不同的内存卡槽，垮桥通信是个瓶颈
-
@applejuice 对，我跑233GB的MOE大模型Qwen3.5-397B-A17B-UD-Q4_K_XL，CPU+DDR4只能5TPS。12通道DDR5大概能到460 GB/s ~ 614 GB/s，加上新的9005 Epyc，估计能到15TPS。但是DDR5太贵了，我的DDR4是以前买的，现在也涨价三倍了
H12D-16D双路应该用不上，两个CPU管理不同的内存卡槽，垮桥通信是个瓶颈
@topgun2000 希望以后有机会搞个512gb 内存来玩. 但是我觉得跌价的时候也是大模型崩的时候了
-
@topgun2000 希望以后有机会搞个512gb 内存来玩. 但是我觉得跌价的时候也是大模型崩的时候了
@applejuice 我还有个技嘉的板子16个内存槽512GB+7K62，跑Qwen3.5-397B-A17B-UD-Q4_K_XL也差不多5TPS，比7443稍微慢点。AI说7K62应该比7443快点，因为是8CCD，7443只有4个CCD。但是实际内存是2666 vs 2933，所以内存速度更重要
