有个新想法打算今晚下班试验一下
-
最近准备测试Radeon AI PRO R9700＋RX 9070双卡组合，主要有三个目的：
1、提高Qwen3.8 27B这类稠密模型的预填充速度，尤其是在接近128K工作上下文时，减少大段输入、上下文恢复和压缩重算所需的时间。
2、测试当前平台是否具备继续增加一张R9700的价值，重点验证下双向PCIe P2P和llama.cpp在ROCm下的多卡表现。如果当前平台无法开启P2P，或者跨卡通信的实际效果不理想，那么后续可能不会继续考虑AMD多卡，而是卖掉原来的显卡，直接购买魔改版RTX 4090D 48GB。
3、玩一玩多卡推理。从京东租的显卡今早已经到了，hxd们等我今晚的好消息！
-
，
T terry 固定了此主题
-
我看到好像还有一块r9600 32gb...价格比r9700 再便宜多50%
-
租的显卡？可以，写的详细点，分享下，还真不知道。但我提前预测下，rocm下的显卡通信绝对不好玩，你的主板不差吧，R9700理论上SG-Lang原生支持。
我的主板很一般，是B850 AIGA，因为此所以我才考虑这次测试（要不然直接上双R9700就行）。
我计划先测试一下PCIE P2P行不行，要是不行的话，那么升级到4090D 48G的性价比比倒腾平台要高得多。要是P2P可以正常，再根据这一次测试的效果，考虑后续要不要升级双卡。
从我在网上搜到的条件来看，理论上这个主板是可以的。两个显卡槽必须尽量CPU直连、BIOS必须支持x8/x8拆分、Above 4G Decoding、Resizable BAR，但是有一点 PCIe路由不能阻断设备间访问 我没有找到相关的资料。
-
我看到好像还有一块r9600 32gb...价格比r9700 再便宜多50%
这我还真不知道，在京东转了一圈一点这卡的消息都没见着。
-
-
因为我看到rx9070, 所以我会想如果价格一样，可以尝试r9600
说实话我都怀疑这个显卡真的有生产过吗... 万能的淘宝都买不到。
-
@Bunsei
可能是转供马来西亚市场 -
@Bunsei
可能是转供马来西亚市场关键现在这个显存价格，如果他真是R9700一半的价格，我能买四张！ 目测真有价格大概是R9700的70~80%左右。
-
刚换了模型，预填充有点爽，但是吐字速度和质量似乎又有点下降了， 不过待机功耗也下去了。 有点难取舍啊。
不过楼主如果有一张是9700，可看一下这人的仓库
https://github.com/mattbucci/2x-3090-GA102-300-A1-sglang-inference
他的仓库有些模型是写的3090双卡，有些模型又写的9700双卡。
如果你有高级的在线API，可以让它们给你改写那个人仓库里的源码，看能适合你的硬件不。 这人每个模型都有benchmark。感觉他可能是专业程序员，业余了搞搞。 -
@Bunsei
我这里的奸商又涨价了原本r9700 - 马币7000, 现在 马币10000 还缺货
我上个月看到他卖r9600 - 马币4800 跟还没涨价的5070ti 持平，现在。。。哼 -
刚换了模型，预填充有点爽，但是吐字速度和质量似乎又有点下降了， 不过待机功耗也下去了。 有点难取舍啊。
不过楼主如果有一张是9700，可看一下这人的仓库
https://github.com/mattbucci/2x-3090-GA102-300-A1-sglang-inference
他的仓库有些模型是写的3090双卡，有些模型又写的9700双卡。
如果你有高级的在线API，可以让它们给你改写那个人仓库里的源码，看能适合你的硬件不。 这人每个模型都有benchmark。感觉他可能是专业程序员，业余了搞搞。 -
-
