3090双卡【无nvlink pcie 3.0 x8+x8拆分 P2P驱动】测试llama-cpp 跑27B Q6K GGUF

[applejuice]

@stxpnet
ddr4 跑大模型 好像有点慢
我上次好像看过b站，是我不能接受的速度
ddr5 64gb = 1.5万
要插满都不止 5万块了 只有勉强可用的速度
如果这样的话倒不如 上dgx spark x2

dgx spark 网友分享 5万元 可以跑2000 prefill 80 decode
我还故意去查了一下 我这里dgx spark 一架4万...

[rock shi]

必须搞个nvlin啊，我正在弄2*2080 22g+nvlink，据说也能用

[rock shi]

@stxpnet 我也是一条缝，用2-slot的桥就行，4cm的。你显卡应该是插的1、3槽吧，正正好。300块钱把3090的性能发挥到极致，预计能给你提高1.5倍左右速度

[applejuice]

@rock-shi 3090 的nvlink 1000元

也没有50%
prefill 最多30%
decode 差不了多少

[laihzang619]

pcie 4.0 16X 全速 没有nvlink的基准

[applejuice]

@laihzang619 prefill 呢？

[laihzang619]

此主題已被删除！

[laihzang619]

此主題已被删除！

[laihzang619]

@applejuice 是这样测试吗

[stxpnet]

@laihzang619 那看来我的P2P还是生效了，管它呢，现在就这样跑着 。
一星期前的帖子了，现在自己回来看都恍如隔世。