有个新想法打算今晚下班试验一下

[imbiplaza ASUS]

@terry
这是是amd 拿来忽悠东南亚市场的玩具。。。

[imbiplaza ASUS]

@Bunsei

因为我看到rx9070, 所以我会想如果价格一样，可以尝试r9600

[Bunsei]

@imbiplaza-ASUS 说:

@Bunsei

因为我看到rx9070, 所以我会想如果价格一样，可以尝试r9600

说实话我都怀疑这个显卡真的有生产过吗... 万能的淘宝都买不到。

[imbiplaza ASUS]

@Bunsei
可能是转供马来西亚市场

[Bunsei]

@imbiplaza-ASUS 说:

@Bunsei
可能是转供马来西亚市场

关键现在这个显存价格，如果他真是R9700一半的价格，我能买四张！ 目测真有价格大概是R9700的70~80%左右。

[imbiplaza ASUS]

@Bunsei
我这里的奸商又涨价了

原本r9700 - 马币7000, 现在 马币10000 还缺货
我上个月看到他卖r9600 - 马币4800 跟还没涨价的5070ti 持平，现在。。。哼

[stxpnet]

刚换了模型，预填充有点爽，但是吐字速度和质量似乎又有点下降了， 不过待机功耗也下去了。 有点难取舍啊。
不过楼主如果有一张是9700，可看一下这人的仓库
https://github.com/mattbucci/2x-3090-GA102-300-A1-sglang-inference
他的仓库有些模型是写的3090双卡，有些模型又写的9700双卡。
如果你有高级的在线API，可以让它们给你改写那个人仓库里的源码，看能适合你的硬件不。 这人每个模型都有benchmark。感觉他可能是专业程序员，业余了搞搞。

[Bunsei]

@imbiplaza-ASUS 说:

@Bunsei
我这里的奸商又涨价了

原本r9700 - 马币7000, 现在 马币10000 还缺货
我上个月看到他卖r9600 - 马币4800 跟还没涨价的5070ti 持平，现在。。。哼

黄鱼、淘宝的话还能9999拿到一张。只是京东那些自营涨了。一看就是压了很久的货了

[Bunsei]

@stxpnet 说:

刚换了模型，预填充有点爽，但是吐字速度和质量似乎又有点下降了， 不过待机功耗也下去了。 有点难取舍啊。

主要是我想试一下现在新出的那个DFlash2版本，咱们也可以去试试看。 据说能进一步提高解码速度。但是得额外占一大部分显存。(这也是我着急测试双卡的原因）

[stxpnet]

@Bunsei 速度提升有代价，目前我了解的情况是，似乎只支持到131K上下文，我个人比较想要220K以上的上下文。看那个架构，可能要支持262K上下文也需要64G或72G显存

[Bunsei]

@stxpnet 说:

@Bunsei 速度提升有代价，目前我了解的情况是，似乎只支持到131K上下文，我个人比较想要220K以上的上下文。看那个架构，可能要支持262K上下文也需要64G或72G显存

128K是能接受的，无非是多一两次压缩，反正Agent挂在那里挂着，工作的事情现在我也交给他了，挂一晚上能干完差不多两三周的编码任务。

[老茶]

@Bunsei 说:

@terry 说:

租的显卡？可以，写的详细点，分享下，还真不知道。但我提前预测下，rocm下的显卡通信绝对不好玩，你的主板不差吧，R9700理论上SG-Lang原生支持。

是的，我还特意问了一下京东客服确认了一下，京东是能租卡的。我这块RX9070 大概是750元可以租2个月。可不是那种卡七天无理由的玩法。

有点意思，我也去看看

[老茶]

确实能租 2 个月，所谓的“无忧试用”

[Bunsei]

@老茶 说:

确实能租 2 个月，所谓的“无忧试用”

要是六月的价格我就直接买了，但... 还是租一张得了

[Bunsei]

显卡已经装上了，给他安排了个C位，接下来的时间就留给GPT了。

[Bunsei]

显卡已经正确连接，接下来就让codex来做全面的测试。

[Bunsei]

看起来情况不错，我先眯一会，剩下的就是完整的27B测试了。

[daniel zhou]

我在京东上没找到啊，问了客服也说没有啊，大神给个链接呗

[Bunsei]

@daniel-zhou 说:

我在京东上没找到啊，问了客服也说没有啊，大神给个链接呗

租的时候有一个服务，在延保那里。叫做京服无忧。你得注意价格4000以下的是一个档位、4~6000是一个档位 6K~1W是一个档位 1~2W又是另一个档位。选择要租的卡的时候得注意一下（因为此所以我才租了9070，要不然直接上9070XT了）

[Bunsei]

@stxpnet 说:

@Bunsei 速度提升有代价，目前我了解的情况是，似乎只支持到131K上下文，我个人比较想要220K以上的上下文。看那个架构，可能要支持262K上下文也需要64G或72G显存

真心建议咱们试试，我这边测试结果非常优秀，提速大概是2倍。我正在整理测试数据今天晚点会再发个帖子。

下面是gpt的数据，我还没有整理：

值得，但要把它定位为“当前能落地的 PP 解码加速方案”，而不是 TP 的全面替代品。
实测依据：

• 约 128K 深度下，普通 PP 解码约 12.77 t/s。
• PP + DFlash2 Q4 达到 25.61 t/s，约提升 2 倍。
• 短上下文任务最高达到 47.53 t/s，普通 PP 约 21 t/s。
• 129,481 token 完整预填充为 294.99 t/s；DFlash2 不加速预填充。
• FP16 KV、主模型、mmproj 和草稿模型全部驻留显存，没有 CPU offload。
• Q8 长程仅比 Q4 快 0.38%，却多占约 872MB，因此应选 Q4_K_M。
  它特别适合：
• 主模型采用 PP 分层；
• 128K 左右长上下文；
• 草稿模型、mmproj、output.weight 放在 R9700；
• 需要弥补 PP 单流解码较慢的问题；
• 以文本 Agent 为主。