有个新想法打算今晚下班试验一下
-
租的显卡？可以，写的详细点，分享下，还真不知道。但我提前预测下，rocm下的显卡通信绝对不好玩，你的主板不差吧，R9700理论上SG-Lang原生支持。
我的主板很一般，是B850 AIGA，因为此所以我才考虑这次测试（要不然直接上双R9700就行）。
我计划先测试一下PCIE P2P行不行，要是不行的话，那么升级到4090D 48G的性价比比倒腾平台要高得多。要是P2P可以正常，再根据这一次测试的效果，考虑后续要不要升级双卡。
从我在网上搜到的条件来看，理论上这个主板是可以的。两个显卡槽必须尽量CPU直连、BIOS必须支持x8/x8拆分、Above 4G Decoding、Resizable BAR，但是有一点 PCIe路由不能阻断设备间访问 我没有找到相关的资料。
-
我看到好像还有一块r9600 32gb...价格比r9700 再便宜多50%
这我还真不知道，在京东转了一圈一点这卡的消息都没见着。
-
-
因为我看到rx9070, 所以我会想如果价格一样，可以尝试r9600
说实话我都怀疑这个显卡真的有生产过吗... 万能的淘宝都买不到。
-
@Bunsei
可能是转供马来西亚市场 -
@Bunsei
可能是转供马来西亚市场关键现在这个显存价格，如果他真是R9700一半的价格，我能买四张！ 目测真有价格大概是R9700的70~80%左右。
-
刚换了模型，预填充有点爽，但是吐字速度和质量似乎又有点下降了， 不过待机功耗也下去了。 有点难取舍啊。
不过楼主如果有一张是9700，可看一下这人的仓库
https://github.com/mattbucci/2x-3090-GA102-300-A1-sglang-inference
他的仓库有些模型是写的3090双卡，有些模型又写的9700双卡。
如果你有高级的在线API，可以让它们给你改写那个人仓库里的源码，看能适合你的硬件不。 这人每个模型都有benchmark。感觉他可能是专业程序员，业余了搞搞。 -
@Bunsei
我这里的奸商又涨价了原本r9700 - 马币7000, 现在 马币10000 还缺货
我上个月看到他卖r9600 - 马币4800 跟还没涨价的5070ti 持平，现在。。。哼 -
刚换了模型，预填充有点爽，但是吐字速度和质量似乎又有点下降了， 不过待机功耗也下去了。 有点难取舍啊。
不过楼主如果有一张是9700，可看一下这人的仓库
https://github.com/mattbucci/2x-3090-GA102-300-A1-sglang-inference
他的仓库有些模型是写的3090双卡，有些模型又写的9700双卡。
如果你有高级的在线API，可以让它们给你改写那个人仓库里的源码，看能适合你的硬件不。 这人每个模型都有benchmark。感觉他可能是专业程序员，业余了搞搞。 -
-
-
-
我在京东上没找到啊，问了客服也说没有啊，大神给个链接呗
