E5-2682V4处理器,
DDR4 2400T 32G2,
华南X99-CH8主板,
蓝宝石R9700 2(带宽 PCIE 3.016 + PCIE3.08)
TT 1000W电源。
单卡:
9B-Q8-262K上下文,速度 35tps,毕竟模型比较小,没有参考意义。
35B-A3B-Q8-262K,速度 14tps,显存不够,需要靠内存,所以速度很慢;
27B-Q8-128K上下文,没开最大上下文,速度 22-25tps;
双卡:
35B-A3B-Q8-262K,速度 72tps,提升很大;
作为对比:
- PRO5000 48G(3万5,我当初买的价格)+ DDR5 6000 64G,速度 90(上下文满)-140tps(上下文空);
- PRO6000 96G(10万,我当初买的价格),速度 200tps+;
27-Q8-262K,速度20tps(变慢了),作为对比,PRO5000 48G ,速度 35-55 tps,PRO6000 ,速度 70tps;