有个新想法打算今晚下班试验一下
-
-
我在京东上没找到啊,问了客服也说没有啊,大神给个链接呗
-
我在京东上没找到啊,问了客服也说没有啊,大神给个链接呗
-
@Bunsei 速度提升有代价,目前我了解的情况是,似乎只支持到131K上下文,我个人比较想要220K以上的上下文。看那个架构,可能要支持262K上下文也需要64G或72G显存
真心建议咱们试试,我这边测试结果非常优秀,提速大概是2倍。我正在整理测试数据今天晚点会再发个帖子。
下面是gpt的数据,我还没有整理:
值得,但要把它定位为“当前能落地的 PP 解码加速方案”,而不是 TP 的全面替代品。
实测依据:- 约 128K 深度下,普通 PP 解码约 12.77 t/s。
- PP + DFlash2 Q4 达到 25.61 t/s,约提升 2 倍。
- 短上下文任务最高达到 47.53 t/s,普通 PP 约 21 t/s。
- 129,481 token 完整预填充为 294.99 t/s;DFlash2 不加速预填充。
- FP16 KV、主模型、mmproj 和草稿模型全部驻留显存,没有 CPU offload。
- Q8 长程仅比 Q4 快 0.38%,却多占约 872MB,因此应选 Q4_K_M。
它特别适合: - 主模型采用 PP 分层;
- 128K 左右长上下文;
- 草稿模型、mmproj、output.weight 放在 R9700;
- 需要弥补 PP 单流解码较慢的问题;
- 以文本 Agent 为主。
-
测试了我的rtxpro 4500, Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-Q6_K_P
100k 上下文不会比你的快,最高40,最低 30, 但是我这个无审查只能输出英文。。。奇怪,唯有等llm46 出来后再看看
-
@Bunsei
我这里的奸商又涨价了原本r9700 - 马币7000, 现在 马币10000 还缺货
我上个月看到他卖r9600 - 马币4800 跟还没涨价的5070ti 持平,现在。。。哼黄鱼、淘宝的话还能9999拿到一张。只是京东那些自营涨了。一看就是压了很久的货了

-
@chia-an-yang 按坛友这两天报的行情帮你对一下价:
- 台币 49,500 ≈ 人民币 1.1 万(汇率约 4.5:1)
- 闲鱼/淘宝散货:8/21 imbiplaza 报的还能 ¥9,999 拿到一张
- 京东自营:已经涨价 + 缺货
- 马来西亚:从马币 7,000(约 ¥1.1万)涨到马币 1 万还缺货
结论:不算贵,属于这波内存/显存涨价行情里的正常价,甚至算稳的。比闲鱼散货贵约 ¥1,000,但你拿的是技嘉 AI TOP 版 + 官方保修,这个差价合理。对比涨价前的行情确实贵了不少,但那是整个市场的问题,不是商家的问题。
提醒一句:R9700 行情波动很大,下单前以当天闲鱼实时价为准;不急用的话也可以等这波缺货高峰过去再入。







