-
要哭,上個月才賣掉1張7900xtx,好像買不回來了
-
正好有两张7900XTX，可以抄作业，谢谢楼主。
-
继前帖 Vibe爆改VLLM Kernel 支持我的双卡TP 之后，我也是过上了多并发跑qwen3.8的好日子，可是没过几天就发现了新毛病：虽然VLLM的Paged attention缓存容量效率都不错，但是它是每~1600token进行前缀缓存，在长上下文中往往不如llama.cpp（完全缓存命中），总要等个1-10秒才吐字，这时候就想起来老特安利的SGLANG，调研一番后发现官方支持基本没有，比VLLM还烂。但是它和VLLM底层都用的是Pytorch，转念一想把对应的VLLM kernel port过来不就完事了？
正好这个周末GLM大赦天下无限token，打开ZCode直接开干！
下面贴repo，找个称手的LLM API和harness即可一键重现复制：
https://github.com/StevenChenSE/sglang/tree/gfx1100-support#chinese这里面唯一的遗憾就是折腾了两天也没法支持fp8 kv cache，双卡4路并发的情况下bf16缓存只能开到192k上下文。
下来扔几个实测数据吧，整体上来说SGLANG的超短上下文爆发力不如VLLM，在数学题比VLLM 130tok/s低大概30%。此外在agent工作流中，整体表现远远超过VLLM:
双路并发平均150-200tok/sec
deepseek harness编程实测：
实测在hermes & deepseek harness中，90%情况下ttft都在<1s，80k上下文之前TG在80-100之间波动，丝滑程度远超llama.cpp & vllm，接下来唯一的缺憾就是等下单的32g ddr5内存（肉痛啊喂）快到货尽快上hicache了，下个周末有空看看dflash效果如何。
以下数据为LLM生成。
1. 标准化上下文深度衰减测试 (
llama-benchy)标准 Prompt Prefill ($PP=2048$) 与 Token Generation ($TG=128$), 并发数 = 1
上下文深度 SGLang MTP-3 (本分支) vLLM MTP-3 基线 vLLM DFlash2 基线 对比 vLLM MTP-3 优势 Depth 0 97.1 tok/s 88.6 tok/s 71.1 tok/s +9.6% Depth 4,096 97.3 tok/s 83.3 tok/s 68.4 tok/s +16.8% Depth 8,192 91.5 tok/s 93.3 tok/s 71.8 tok/s -1.9% Depth 16,384 95.7 tok/s 75.9 tok/s 62.2 tok/s +26.1% 速度留存率 (16k / 0k) 98.5% 85.7% 87.5% 长文本衰减极低 2. 真实 120k Agent 多轮会话回放（16 轮离散交互）
采样自真实 120k 长文本 Agent 对话（332 $\to$ 120,443 tokens），启用 Radix 前缀缓存
评估指标 SGLang MTP-3 (本分支) vLLM MTP-3 vLLM DFlash2 提升幅度 平均生成速度 (Mean TG) 87.89 tok/s 63.50 tok/s 67.96 tok/s 提速 +38.4% 中位数速度 (Median TG) 85.97 tok/s 61.52 tok/s 67.16 tok/s 提速 +39.7% 抖动率 (CV Jitter %) 12.92% 45.34% 36.56% 平稳度提升 3.5 倍 最差轮次保底速度 66.71 tok/s 16.94 tok/s 32.94 tok/s 最低速度提升 4 倍 3. 数学思维链推理测试 (GSM8K & MATH-500)
Greedy 贪婪采样，temperature = 0.0，max_tokens = 1024
数据集用例 生成 Token 数量 首字延迟 (TTFT) Prefill 速度 生成速度 (TG) 准确率 GSM8K #1 48 0.169s 533.5 tok/s 98.9 tok/s 100% 正确 GSM8K #2 196 0.180s 626.9 tok/s 116.2 tok/s 100% 正确 MATH-500 #1 169 0.149s 556.4 tok/s 114.7 tok/s 100% 正确 MATH-500 #2 212 0.137s 533.3 tok/s 111.2 tok/s 100% 正确 综合平均 — 0.159s 562.5 tok/s 110.3 tok/s 100% 正确 4. 多并发吞吐实测 ($c=4$)
使用
llama-benchy进行多并发请求压测 ($PP=2048, TG=128$, Depth 0)推理服务引擎 并发数 Prefill 总吞吐 (PP) 生成总吞吐 (TG) 峰值生成吞吐 运行稳定性与说明 SGLang MTP-3 (本分支) c = 4 1,974.5 tok/s 147.5 tok/s 206.0 tok/s 100% 稳定运行，Decode CUDA 图与 MTP-3 正常工作 vLLM Baseline (无投机) c = 4 1,891.1 tok/s 83.1 tok/s 180.0 tok/s 原生稳定，但解码速度较低 vLLM DFlash2 c = 4 1,693.2 tok/s 75.9 tok/s 188.0 tok/s 投机开销导致多并发总 TG 吞吐反而低于 Baseline llama.cpp (MTP) c = 4 636.3 tok/s 50.1 tok/s — 受限于插槽并发队列瓶颈 ( -np 2)多并发核心结论：此前在 ROCm 平台上，vLLM 的投机解码在多并发下普遍面临崩溃或负优化（DFlash2 吞吐不如普通非投机模型，原生 MTP 则直接非法地址异常）。而 SGLang 依靠 Wave32 对齐的 Triton 解码图和独立的 Mamba 状态缓冲，在 4 并发下展现出 147.5 tok/s 的总生成吞吐，比 vLLM 基线高出 +77.5%，比 vLLM DFlash2 高出 +94.4%。
-
-
-
X99-T8D + DDR3 内存是不是可以搞这个方案了
-
Prefill 才500多 速度这么低 能用吗？
随便一张n卡 都翻倍了吧，双卡价格都上万了才这点速度 ，性价比很差啊，我是不能理解这么低的prefill 做智能体究竟有什么意义，我随便组的 2080ti双卡 27b prefill都有1800+，我都觉得慢，正常好用至少4000+
-
Prefill 才500多 速度这么低 能用吗？
随便一张n卡 都翻倍了吧，双卡价格都上万了才这点速度 ，性价比很差啊，我是不能理解这么低的prefill 做智能体究竟有什么意义，我随便组的 2080ti双卡 27b prefill都有1800+，我都觉得慢，正常好用至少4000+
-
@Mediali-Li 什么模型可1800？
@applejuice 4-bit 量化模型（AWQ、GPTQ 或 AutoRound）的输出速度为 110 token/s，而 FP8 量化可达到约 1500–1600 token/s，从而实现 75 token/s 的输出速度。
-
@applejuice 4-bit 量化模型（AWQ、GPTQ 或 AutoRound）的输出速度为 110 token/s，而 FP8 量化可达到约 1500–1600 token/s，从而实现 75 token/s 的输出速度。
-
@Mediali-Li 如果你这个是稠密模型 那是真强
@applejuice 这点速度还快？ 27b w4a16 我双卡5090 去到 8000 prefill，nvfp4得 1.5w+ 2080ti我就挂机做个翻译而已!
-
@applejuice 这点速度还快？ 27b w4a16 我双卡5090 去到 8000 prefill，nvfp4得 1.5w+ 2080ti我就挂机做个翻译而已!
-
@Mediali-Li 果然高手在民间
1500prefill 我都感觉很不错了
-
看来我长期被llama 坑惨了。。。速度尽然可以相差3倍之多。。。
我再看看有什么可以捣鼓的，长期在win11 也不是办法
