有个新想法打算今晚下班试验一下

[Bunsei]

@imbiplaza-ASUS 说:

我看到好像还有一块r9600 32gb...价格比r9700 再便宜多50%

这我还真不知道，在京东转了一圈一点这卡的消息都没见着。

[terry]

不太可能，R9700已经是太监了，要是出9600意义不大。

[Bunsei]

@terry 说:

租的显卡？可以，写的详细点，分享下，还真不知道。但我提前预测下，rocm下的显卡通信绝对不好玩，你的主板不差吧，R9700理论上SG-Lang原生支持。

我的主板很一般，是B850 AIGA，因为此所以我才考虑这次测试（要不然直接上双R9700就行）。

我计划先测试一下PCIE P2P行不行，要是不行的话，那么升级到4090D 48G的性价比比倒腾平台要高得多。要是P2P可以正常，再根据这一次测试的效果，考虑后续要不要升级双卡。

从我在网上搜到的条件来看，理论上这个主板是可以的。两个显卡槽必须尽量CPU直连、BIOS必须支持x8/x8拆分、Above 4G Decoding、Resizable BAR，但是有一点 PCIe路由不能阻断设备间访问 我没有找到相关的资料。

[imbiplaza ASUS]

@terry
这是是amd 拿来忽悠东南亚市场的玩具。。。

[imbiplaza ASUS]

@Bunsei

因为我看到rx9070, 所以我会想如果价格一样，可以尝试r9600

[Bunsei]

@imbiplaza-ASUS 说:

@Bunsei

因为我看到rx9070, 所以我会想如果价格一样，可以尝试r9600

说实话我都怀疑这个显卡真的有生产过吗... 万能的淘宝都买不到。

[imbiplaza ASUS]

@Bunsei
可能是转供马来西亚市场

[Bunsei]

@imbiplaza-ASUS 说:

@Bunsei
可能是转供马来西亚市场

关键现在这个显存价格，如果他真是R9700一半的价格，我能买四张！ 目测真有价格大概是R9700的70~80%左右。

[imbiplaza ASUS]

@Bunsei
我这里的奸商又涨价了

原本r9700 - 马币7000, 现在 马币10000 还缺货
我上个月看到他卖r9600 - 马币4800 跟还没涨价的5070ti 持平，现在。。。哼

[stxpnet]

刚换了模型，预填充有点爽，但是吐字速度和质量似乎又有点下降了， 不过待机功耗也下去了。 有点难取舍啊。
不过楼主如果有一张是9700，可看一下这人的仓库
https://github.com/mattbucci/2x-3090-GA102-300-A1-sglang-inference
他的仓库有些模型是写的3090双卡，有些模型又写的9700双卡。
如果你有高级的在线API，可以让它们给你改写那个人仓库里的源码，看能适合你的硬件不。 这人每个模型都有benchmark。感觉他可能是专业程序员，业余了搞搞。

[Bunsei]

@imbiplaza-ASUS 说:

@Bunsei
我这里的奸商又涨价了

原本r9700 - 马币7000, 现在 马币10000 还缺货
我上个月看到他卖r9600 - 马币4800 跟还没涨价的5070ti 持平，现在。。。哼

黄鱼、淘宝的话还能9999拿到一张。只是京东那些自营涨了。一看就是压了很久的货了

[Bunsei]

@stxpnet 说:

刚换了模型，预填充有点爽，但是吐字速度和质量似乎又有点下降了， 不过待机功耗也下去了。 有点难取舍啊。

主要是我想试一下现在新出的那个DFlash2版本，咱们也可以去试试看。 据说能进一步提高解码速度。但是得额外占一大部分显存。(这也是我着急测试双卡的原因）

[stxpnet]

@Bunsei 速度提升有代价，目前我了解的情况是，似乎只支持到131K上下文，我个人比较想要220K以上的上下文。看那个架构，可能要支持262K上下文也需要64G或72G显存

[Bunsei]

@stxpnet 说:

@Bunsei 速度提升有代价，目前我了解的情况是，似乎只支持到131K上下文，我个人比较想要220K以上的上下文。看那个架构，可能要支持262K上下文也需要64G或72G显存

128K是能接受的，无非是多一两次压缩，反正Agent挂在那里挂着，工作的事情现在我也交给他了，挂一晚上能干完差不多两三周的编码任务。

[老茶]

@Bunsei 说:

@terry 说:

租的显卡？可以，写的详细点，分享下，还真不知道。但我提前预测下，rocm下的显卡通信绝对不好玩，你的主板不差吧，R9700理论上SG-Lang原生支持。

是的，我还特意问了一下京东客服确认了一下，京东是能租卡的。我这块RX9070 大概是750元可以租2个月。可不是那种卡七天无理由的玩法。

有点意思，我也去看看

[老茶]

确实能租 2 个月，所谓的“无忧试用”

[Bunsei]

@老茶 说:

确实能租 2 个月，所谓的“无忧试用”

要是六月的价格我就直接买了，但... 还是租一张得了

[Bunsei]

显卡已经装上了，给他安排了个C位，接下来的时间就留给GPT了。

[Bunsei]

显卡已经正确连接，接下来就让codex来做全面的测试。

[Bunsei]

看起来情况不错，我先眯一会，剩下的就是完整的27B测试了。