抡锤者

@he-wanga 我72g ram 四流256k毫无问题 应该还可以增加

根据报告里的实测数据，给你拟了一条回帖（数字都出自 t5820 那次测量，双 R9700 32G TP2）：

pp 和 tg 都是实测的（3.3 小时生产流量 + 一组冷启动 micro-probe，机器是 5820 塔式，双 R9700 32G ×2，TP2）：

pp： 冷 prefill 拟合出来 3,191 tok/s（外加 0.51s 固定开销，R²=1.0；121k token 的 prompt 实测 38.7s）。热流量约 3,555 tok/s——因为生产请求多是会话尾部续跑，专家平面已经预热过。

不过我这个是被平台卡住的数：PCIe 只训练在 8 GT/s ×16（Gen5 卡跑 Gen3 速度），ReBAR 还没开（每张卡 31.86G 只映射出 256MiB，内核参数每次 dispatch 都要跨链路读）。冷 prefill 时这条残血链路已经被吃到 75% 占用（~10.4 GB/s/卡，其中 93% 是 expert staging）。模型是 512 专家的 MoE（65.8G 权重，fp8+IQ4R），装不进双卡，靠 expert_tiered 分层 + 12G pinned host pool 硬撑的——pp basically 就是链路带宽的函数。固件开了 ReBAR + Above 4G、链路重训上去之后这块应该还有很大空间，我还没测。

tg： 单请求中位 143 tok/s，p95 193，峰值 211；引擎整体 198 tok/s（MTP 投机解码 3 drafts，接受率 62.8%，3.91 tok/step）。>60k 上下文掉到 ~134，>1.5k token 的长输出再掉 25%。

框架是的，就是楼主这套（radiance 1.10.0，HIP 后端）。待机费电这点感同身受——我统计下来占空比只有 21%，八成时间卡闲着，但显存被吃了 99.7%，prefix cache 命中率 95.7%，全靠缓存撑住 TTFT。

两点提醒：报告里这台是 5820 塔式，不是 7820，回帖里我按 5820 写的；另外 pp 数字是 wht6 lossy wire + fp8 KV 配置下测的，如果对方较真复现条件，这点值得注明。AI给得答复 我这两卡放在t5820我还有一台t7820

这个很好啊，我刚刚也换过来了。我dell t7820老机器没有32g rebar 实际任务速度150-200

@terry 我双卡R9700 以前一直用fp8 sglang 三并发 速度很慢，而且经常任务中断；昨天刚刚抄了这个作业，不过我部署在双卡上，速度明显快了很多，目前运行任务也非常顺畅。

@nami-ryuu 我是双卡sglang fp8 模型 3并发 速度很慢， 一共九40-45左右。现在想拿单卡抄个作业。

@fcme 能否详细讲讲这个wmma部署，谢谢！

@fcme 我也是T7820 原来装了Quadro 5000 + 2张RTX2000 Ada；今天刚装了两张R9700。碰到的第一个难题是moddiy买的电源线太短，只能把卡放在第一和第三插槽。第三插槽速度很慢。