3090双卡【无nvlink pcie 3.0 x8+x8拆分 P2P驱动】测试llama-cpp 跑27B Q6K GGUF

[stxpnet]

@applejuice 嗯，这个我知道的，大概就是让它绑定一个CPU，128G内存专门用来跑MOE模型，想玩一下QWEN 122B A10B或者是LAGUNA S2.1，这样比较省电啊，不用搞两台机，记忆，RAG啥的挂另一颗 CPU上面。

我之前还试过可以用纯CPU跑35B A3B 或者QWEN CODER NEXT，有15-20T/S(当时想法是只用来写程序，写代码） 。 但是现在3.8都出来了，QWEN CODER NEXT有点跟不上时代了。

[applejuice]

@stxpnet
ddr4 跑大模型 好像有点慢
我上次好像看过b站，是我不能接受的速度
ddr5 64gb = 1.5万
要插满都不止 5万块了 只有勉强可用的速度
如果这样的话倒不如 上dgx spark x2

dgx spark 网友分享 5万元 可以跑2000 prefill 80 decode
我还故意去查了一下 我这里dgx spark 一架4万...

[rock shi]

必须搞个nvlin啊，我正在弄2*2080 22g+nvlink，据说也能用

[rock shi]

@stxpnet 我也是一条缝，用2-slot的桥就行，4cm的。你显卡应该是插的1、3槽吧，正正好。300块钱把3090的性能发挥到极致，预计能给你提高1.5倍左右速度

[applejuice]

@rock-shi 3090 的nvlink 1000元

也没有50%
prefill 最多30%
decode 差不了多少

[laihzang619]

pcie 4.0 16X 全速 没有nvlink的基准

[applejuice]

@laihzang619 prefill 呢？

[laihzang619]

此主題已被删除！

[laihzang619]

此主題已被删除！

[laihzang619]

@applejuice 是这样测试吗

[stxpnet]

@laihzang619 那看来我的P2P还是生效了，管它呢，现在就这样跑着 。
一星期前的帖子了，现在自己回来看都恍如隔世。