单卡 R9700 32G 跑 Qwen3.8-27B:10 月版 vLLM 镜像实测,并发吞吐 +80%、8 个长对话同时保留、短问题延迟最高 43×
-
我感觉r9700 用来跑vllm 27b 效率 好过strata 好多
@applejuice Strata 我们也在同一张 R9700 上测过(Qwen3.8-Flash-Next 125B MoE,IQ3_XXS):decode 约 88–91 t/s,长上下文 decode 开 mtp-window 65536 能 +29.7%。但注意模型不同(125B MoE vs 主楼的 27B dense),tok/s 不能直接比。首字延迟 vLLM 明显更好(中位 43ms vs Strata 387–737ms)。
实际使用体验上,27B dense 明显更顺:长 prefill 在跑的时候,短问题 0.6–1.1 秒就能出字;8 个长对话同时保留,切换不重新 prefill。Strata 单流首字就要几百毫秒,日常追问的体感差距很大。
-
@applejuice Strata 我们也在同一张 R9700 上测过(Qwen3.8-Flash-Next 125B MoE,IQ3_XXS):decode 约 88–91 t/s,长上下文 decode 开 mtp-window 65536 能 +29.7%。但注意模型不同(125B MoE vs 主楼的 27B dense),tok/s 不能直接比。首字延迟 vLLM 明显更好(中位 43ms vs Strata 387–737ms)。
实际使用体验上,27B dense 明显更顺:长 prefill 在跑的时候,短问题 0.6–1.1 秒就能出字;8 个长对话同时保留,切换不重新 prefill。Strata 单流首字就要几百毫秒,日常追问的体感差距很大。
-
@applejuice 所以实际最常用那个模型?
-
@applejuice 所以实际最常用那个模型?
@alan.lgv60 现在还在试用 strata q3_s 为主 27b 为副
-
试用R9700 跑 strata 一阵子，最后还是比较喜欢27B的速度及反应。
-
试用R9700 跑 strata 一阵子，最后还是比较喜欢27B的速度及反应。
我两个都差不多一样
3090x2 驱动的sglang 27b 快在decode
但是 长上下文 prefill strata 有优势
我个人觉得 prefill 比较重要
所以就继续用 -
-
没人讨论radiance 了？
我一直都在用 radiance 现在是 1.3.2 版本B0：0.4.0 R1：1.3.2 原参数 R2：1.3.2 推荐参数 打招呼 / 工具调用 
/ / / Decode 中文散文 42.3 t/s 63.1 63.2（+49%） Decode 中文对话 52.1 50.3 50.3（−3%） Decode 英文技术 81.1 86.0 86.0（+6%） Decode 代码 180.9 186.8 187.1（+3%） 草稿接受（token/步，中文散文） 1.84 2.24 2.24 Prefill 19K 2,405 t/s 2,353 2,405 Prefill 43K 2,101 2,049 2,155（+3%） KV 池（max-model-len 204800） 348,553 token 333,963 382,060 ~ 393,309 注意力后端 ROCM_AITER_UNIFIED_ATTN 同左 R4D_HYBRID -
没人讨论radiance 了？
我一直都在用 radiance 现在是 1.3.2 版本B0：0.4.0 R1：1.3.2 原参数 R2：1.3.2 推荐参数 打招呼 / 工具调用 / / / Decode 中文散文 42.3 t/s 63.1 63.2（+49%） Decode 中文对话 52.1 50.3 50.3（−3%） Decode 英文技术 81.1 86.0 86.0（+6%） Decode 代码 180.9 186.8 187.1（+3%） 草稿接受（token/步，中文散文） 1.84 2.24 2.24 Prefill 19K 2,405 t/s 2,353 2,405 Prefill 43K 2,101 2,049 2,155（+3%） KV 池（max-model-len 204800） 348,553 token 333,963 382,060 ~ 393,309 注意力后端 ROCM_AITER_UNIFIED_ATTN 同左 R4D_HYBRID @applejuice
是這個嗎？
https://github.com/magiccodingman/vllm-radiance
這個專注在TP=2，所以就沒怎麼關注他了。 -
@applejuice
是這個嗎？
https://github.com/magiccodingman/vllm-radiance
這個專注在TP=2，所以就沒怎麼關注他了。@paul-hou 这个是另一个分支 停留在9月22更新
我用的是 slybase / vllm-sly-radiance 还在更新
paiton 不开源
vllm-sly-radiance 开源Radiance 1.3.2 + R4D_HYBRID Paiton（10-04 测试；数据来自 10-02 构建） 是谁 / 是什么 SlyBase，基于官方 vLLM 0.31 的开源补丁集 Eliovp-BV（一家公司）：vLLM 插件（vLLM 0.29），内核由其专有编译器生成 谱系 Radiance 系（StillDeadcode 的 libr4d + ggz14 的 MXFP4） 独立，自有内核 模型权重 AMD 官方 Quark MXFP4（4-bit） unsloth NVFP4（4-bit），或其自家的 3-bit W3A4（用于长上下文） 上下文 + 视觉 200K 含视觉（应可支持到约 262K） 4-bit：65K 含视觉，或 200K 不含视觉。3-bit + KV4：262K（视觉未测试） KV 缓存 fp8，393K token 池 fp8；长上下文模式下用 KV4（4-bit），8 个对话共约 492K token 解码：中文长文 / 中文对话 / 英文 / 代码 63.2 / 50.3 / 86.0 / 187.1 54.1 / 54.6 / 89.0 / 186.8 预填充 19K / 43K 2,405 / 2,155 3,044 / 2,855（+27–32%） 推理质量（12 题测试集） 12/12（在 0.4.0 上测得，权重相同） 11/12，另有 2 次运行卡在 32K 思考上限 工具调用 / 推理解析器 更新 开源，非常活跃 公司发布（最近一次见于 10-05） -
@paul-hou 这个是另一个分支 停留在9月22更新
我用的是 slybase / vllm-sly-radiance 还在更新
paiton 不开源
vllm-sly-radiance 开源Radiance 1.3.2 + R4D_HYBRID Paiton（10-04 测试；数据来自 10-02 构建） 是谁 / 是什么 SlyBase，基于官方 vLLM 0.31 的开源补丁集 Eliovp-BV（一家公司）：vLLM 插件（vLLM 0.29），内核由其专有编译器生成 谱系 Radiance 系（StillDeadcode 的 libr4d + ggz14 的 MXFP4） 独立，自有内核 模型权重 AMD 官方 Quark MXFP4（4-bit） unsloth NVFP4（4-bit），或其自家的 3-bit W3A4（用于长上下文） 上下文 + 视觉 200K 含视觉（应可支持到约 262K） 4-bit：65K 含视觉，或 200K 不含视觉。3-bit + KV4：262K（视觉未测试） KV 缓存 fp8，393K token 池 fp8；长上下文模式下用 KV4（4-bit），8 个对话共约 492K token 解码：中文长文 / 中文对话 / 英文 / 代码 63.2 / 50.3 / 86.0 / 187.1 54.1 / 54.6 / 89.0 / 186.8 预填充 19K / 43K 2,405 / 2,155 3,044 / 2,855（+27–32%） 推理质量（12 题测试集） 12/12（在 0.4.0 上测得，权重相同） 11/12，另有 2 次运行卡在 32K 思考上限 工具调用 / 推理解析器 更新 开源，非常活跃 公司发布（最近一次见于 10-05）
