抡锤者

nvidia 3090 及其类似的 请看这个作者，优化很多
https://github.com/noonghunna/club-3090

@gk20082000
我又来做好人了，这里有现成的作业不去抄？
https://hub.docker.com/r/capicua25x/vllm-rocm-rdna4

@terry 我前段时间就是两套（x99+双卡r9700） 跑27b，很爽的。那速度就跟用DeepSeek v4.1 flash api 嗖嗖的！给我完成了好多opus5.5派发的好多任务

涨价了，现在最有价值的是两台GB10 跑DeepSeek v4 flash 速度和智能基本可以替代大部分工作了

@terry 技术性实时性搜索grok是真的强。

vllm（perf/rdna3_full_stack）+lmcache(dev最新版本) +dbirks/Qwen3.8-27B-W4A16-AutoRound 丝滑，几乎不用ai改代码，只有lmcache一点点。因为有缓存，所以并发需要prefill的上下文极度降低。omp agent体验丝滑。

看到终于有人用这个双卡7900xtx了，献上我用了一个多月的vllm吧，直接用这个https://github.com/JartX/vllm perf/rdna3_full_stack 分支的吧！
RDNA3W4A16LinearKernel 这个东西就是这位Jartx老哥提的pr，它还修复了好多7900xtx的kernel，它自己现在就是4卡7900xtx了。现在做的W4A16量化prefill和decode 速度都3090一样的速度了
现在还缺W4A8 W8A8 MXFP4等支持
下面贴一下这个分支的特性，做了很多针对gfx1100 推理关键kernel的修复

 1. 注意力（KV cache 量化）——优化最重、收益最大

 ┌───────────────────┬───────────────────────────────────────────────────────────────────────────────────┬──────────────────────────────────────────────────────────────────────────────┬─────────────────────────────────────────────────┐
 │ 优化              │ 内核                                                                              │ 门控条件                                                                     │ 收益（README 实测）                             │
 ├───────────────────┼───────────────────────────────────────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────┤
 │ INT8 prefill      │ paged_prefill_attn_rdna3_v2_int8（HIP WMMA）                                      │ --kv-cache-dtype int8_per_token_head + TRITON_ATTN + HS∈{64,128,256} + 纯    │ 3.03ms vs Triton 25ms（8.3×）；整机 1209 vs 727 │
 │                   │                                                                                   │ prefill continuation + 无 alibi/swa/sink/softcap                             │ tok/s（+66%），VRAM −50%                        │
 ├───────────────────┼───────────────────────────────────────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────┤
 │ INT8 decode       │ pth_decode_int8_rdna3（HIP split-KV，1-wave）                                     │ 同上 + HS==256 + max_query_len≤128                                           │ decode 主路径                                   │
 ├───────────────────┼───────────────────────────────────────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────┤
 │ INT4              │ paged_prefill_attn_rdna3_v2_int4 + pth_decode_int4_rdna3 +                        │ int4_per_token_head + HS∈{128,256}                                           │ ~1150 tok/s（+58%），VRAM −75%                  │
 │ prefill/decode    │ rht_rotate_inplace_rdna3 + reshape_cache_int4_rdna3（融合 RHT）                   │                                                                              │                                                 │
 └───────────────────┴───────────────────────────────────────────────────────────────────────────────────┴──────────────────────────────────────────────────────────────────────────────┴─────────────────────────────────────────────────┘

 关键点：这个阶段与权重量化完全无关，只由 --kv-cache-dtype 决定。

 2. W4A16 权重 GEMM（两套 HIP 内核，按对称性分叉）

 ┌────────────────────────────────────────────────────────────────┬─────────────────────────────────────────────────────────────────┬─────────────────────────────────────────────────────────────────────────────────────────────────────┐
 │ 内核                                                           │ 支持的量化                                                      │ 路径                                                                                                │
 ├────────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────────────────────────────────────────────┤
 │ gptq_gemm_rdna3 + gptq_gemm_rdna3_wmma（q_gemm_rdna3*.cu，fork │ 对称 int4 = uint4b8（GPTQv1 布局，ExLlama shuffle，存储 zp =    │ RDNA3W4A16LinearKernel（优先级第一）；bf16 M≥16 → WMMA（prefill 128×64 主核），M=1 →                │
 │ 自研）                                                         │ 实际 zp − 1）                                                   │ 标量快速路径（v_dot2，省 LDS）                                                                      │
 ├────────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────────────────────────────────────────────┤
 │ wvSplitK_int4_g（skinny_gemms_int4.cu，移植上游 PR #40977）    │ 非对称 int4 = uint4（存储 zp = 实际零点）                       │ RDNAHybridW4A16LinearKernel；仅 M≤5 且 K·M≤32768                                                    │
 ├────────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────────────────────────────────────────────┤
 │ moe_gptq_gemm_rdna3（moe_q_gemm_rdna3.cu）                     │ 同 gptq 对称布局                                                │ MoE 专家 GEMM（KAT-Coder-V2.5 走的就是它）                                                          │
 └────────────────────────────────────────────────────────────────┴─────────────────────────────────────────────────────────────────┴─────────────────────────────────────────────────────────────────────────────────────────────────────┘

特别是它还修复了多卡通信RCCL 和3090一样的延迟了 延迟都能达到20us内了

这位老哥自从用4卡7900xtx 跑了deepseek v4 flash（卸载到内存） 后，最近更新速度降下来了。期望它再接再厉能把v4 flash 搞到30tokens也好呀

再弄一个lmcache，只要你大内存和大固态（我是128G内存+2T固态）。你会发现并发好爽！ 这些都是我验证过的。

如果只上64G，还是双R9700

4080S 32G 我觉得这个性价比高