【双 R9700 折腾记】从 Strata 到 Radiance
-
-
根据报告里的实测数据，给你拟了一条回帖（数字都出自 t5820 那次测量，双 R9700 32G TP2）：
pp 和 tg 都是实测的（3.3 小时生产流量 + 一组冷启动 micro-probe，机器是 5820 塔式，双 R9700 32G ×2，TP2）：
pp： 冷 prefill 拟合出来 3,191 tok/s（外加 0.51s 固定开销，R²=1.0；121k token 的 prompt 实测 38.7s）。热流量约 3,555 tok/s——因为生产请求多是会话尾部续跑，专家平面已经预热过。
不过我这个是被平台卡住的数：PCIe 只训练在 8 GT/s ×16（Gen5 卡跑 Gen3 速度），ReBAR 还没开（每张卡 31.86G 只映射出 256MiB，内核参数每次 dispatch 都要跨链路读）。冷 prefill 时这条残血链路已经被吃到 75% 占用（~10.4 GB/s/卡，其中 93% 是 expert staging）。模型是 512 专家的 MoE（65.8G 权重，fp8+IQ4R），装不进双卡，靠 expert_tiered 分层 + 12G pinned host pool 硬撑的——pp basically 就是链路带宽的函数。固件开了 ReBAR + Above 4G、链路重训上去之后这块应该还有很大空间，我还没测。
tg： 单请求中位 143 tok/s，p95 193，峰值 211；引擎整体 198 tok/s（MTP 投机解码 3 drafts，接受率 62.8%，3.91 tok/step）。>60k 上下文掉到 ~134，>1.5k token 的长输出再掉 25%。
框架是的，就是楼主这套（radiance 1.10.0，HIP 后端）。待机费电这点感同身受——我统计下来占空比只有 21%，八成时间卡闲着，但显存被吃了 99.7%，prefix cache 命中率 95.7%，全靠缓存撑住 TTFT。
两点提醒：报告里这台是 5820 塔式，不是 7820，回帖里我按 5820 写的；另外 pp 数字是 wht6 lossy wire + fp8 KV 配置下测的，如果对方较真复现条件，这点值得注明。AI给得答复 我这两卡放在t5820我还有一台t7820
-
-
-
根据报告里的实测数据，给你拟了一条回帖（数字都出自 t5820 那次测量，双 R9700 32G TP2）：
pp 和 tg 都是实测的（3.3 小时生产流量 + 一组冷启动 micro-probe，机器是 5820 塔式，双 R9700 32G ×2，TP2）：
pp： 冷 prefill 拟合出来 3,191 tok/s（外加 0.51s 固定开销，R²=1.0；121k token 的 prompt 实测 38.7s）。热流量约 3,555 tok/s——因为生产请求多是会话尾部续跑，专家平面已经预热过。
不过我这个是被平台卡住的数：PCIe 只训练在 8 GT/s ×16（Gen5 卡跑 Gen3 速度），ReBAR 还没开（每张卡 31.86G 只映射出 256MiB，内核参数每次 dispatch 都要跨链路读）。冷 prefill 时这条残血链路已经被吃到 75% 占用（~10.4 GB/s/卡，其中 93% 是 expert staging）。模型是 512 专家的 MoE（65.8G 权重，fp8+IQ4R），装不进双卡，靠 expert_tiered 分层 + 12G pinned host pool 硬撑的——pp basically 就是链路带宽的函数。固件开了 ReBAR + Above 4G、链路重训上去之后这块应该还有很大空间，我还没测。
tg： 单请求中位 143 tok/s，p95 193，峰值 211；引擎整体 198 tok/s（MTP 投机解码 3 drafts，接受率 62.8%，3.91 tok/step）。>60k 上下文掉到 ~134，>1.5k token 的长输出再掉 25%。
框架是的，就是楼主这套（radiance 1.10.0，HIP 后端）。待机费电这点感同身受——我统计下来占空比只有 21%，八成时间卡闲着，但显存被吃了 99.7%，prefix cache 命中率 95.7%，全靠缓存撑住 TTFT。
两点提醒：报告里这台是 5820 塔式，不是 7820，回帖里我按 5820 写的；另外 pp 数字是 wht6 lossy wire + fp8 KV 配置下测的，如果对方较真复现条件，这点值得注明。AI给得答复 我这两卡放在t5820我还有一台t7820
-
-
，
H hanber121 将此主题交叉发布至 AI Agent
-
，
-
话说我看到Radiance项目里列的，GLM-5.3-Flash: MXFP4 experts and block-FP8 attention (AMD Quark), MTP, vision, eight cards这个模型，172G大小，是不是双R9700也有机会摸一下？
-
-
-
@fcme 我也想再办一张，但看到涨价就犹豫了
不知道单卡效果怎样？@alan.lgv60
如果只是跑27b的话，单卡已经很顶了，能到3500的预处理，输出的话能有个100以上，就已经很丝滑了。
如果呢要想达到类似27b的速度，那就只有上双卡tp了。就看你自己的需求了，flash next呢确实好一些，但是又没好那么多。 -
暂时看到radiance 最大的缺点就是上下文只能200k
不能像strata 可以用load 在内存 -
@applejuice
不大量搞代码的话，200K绰绰有余了。我现在虽然是可以开256，但是为了方便各个模型都统一成200k了。
你可以让AI给你看一下你过往的聊天记录，看看超过某个阈值的到底有多少，这个情况频繁不频繁，如果不频繁的话，其实对于本地模型来讲设的低一点响应速度会更快一些。 -
@fcme 我的真过200k 而且很常都过
-
@alan.lgv60
如果只是跑27b的话，单卡已经很顶了，能到3500的预处理，输出的话能有个100以上，就已经很丝滑了。
如果呢要想达到类似27b的速度，那就只有上双卡tp了。就看你自己的需求了，flash next呢确实好一些，但是又没好那么多。 -
@applejuice
哦，那你就往上顶吧。我用本地模型的话，感觉有时候上下文太长了，有时候等待时间太长就很烦。用deepseek flash这种在线的很快的模型就无所谓了。 -
@fcme 因为strata 所以没什么关系 因为即使200k prefill 速度也有3000
除非cache 被洗掉
对话再prefill 一次比较久 -
@applejuice
5090么，pp这么快？我的5070ti只有2000左右，感觉没有命中的时候还是慢 -
@fcme 3090x2 strata 啊 250w 功率限制 prefill都有3700
-
@applejuice
哦，牛逼，牛逼，那也是双卡高带宽并行啊！比不了
-
