EPYC 9654+ 超微 H13 SSL 金士頓 DDR5-4800 16Gx12通道 4090 48GB X2

[李喆]

新進員工進來後一直沒空~

與華南金牌H12D-8D 7B12 256GB DDR4-2400 8通道 3090 24GB X2 比較一下~

最近再把一些模型測試報告貼上來

也試著開一個池 2台主機跑共同討論同一檔股票 24小時2台討論修改20多次好像沒比較好~"~

有試過
1.QWEN 27B FP16 雙 4090 48GB TP 速度僅 20TOK/S 左右
2.STRATA 128 Q4(Q4很多版本) 雙 4090 分層(好像無法TP) 約145 TOK/S 單4090 125 TOK/S

華南金牌H12D-8D 7B12 256GB DDR4-2400 8通道 3090 24GB X2
STRATA 128 Q4(Q4很多版本) 雙 3090 24GB 分層 65-71 TOK/S

臨時PO再慢慢修正^^"

[imbiplaza ASUS]

感觉是双卡无法tp

[李喆]

@imbiplaza-ASUS 看模型 120b 27b fp16都有成功TP

[許傑]

[許傑]

原帳號被禁言48小時

[imbiplaza ASUS]

@許傑 ddr5 12通道？超厉害