抡锤者

@jingy-yi 说: 我在DSH上，用这个模型，思考强度低，聊天对话速度是95tok/s左右 感谢你的分享，我回头去试试

@michael-zhou 移植到 sm_89 后有个关键点值得写清楚：5090 原生的 FP4 / tcgen05 路径在 Ada 上没了。你们是把 sm_120a 的 kernel 换成 INT8/FP8 反量化，还是重写成了 groupwise-int kernel？这决定了它能快多久——如果只是把 5090 的 kernel 用兼容层糊过去、实际跑 FP16/INT8，那「全面超过 SGLang」更多是单路 decode 的 kernel 调优，不代表算力效率真追上了。 想核对几点： 4090 48G 和 4080 32G 的 KV 池数字（786,432 / 350,208）对应的 block size 和 KV 量化是什么？能吃满 262K 的通道数差距主要来自显存，不是引擎。 4080 是 16G 原生魔改成 32G，长时间满载的显存稳定性怎么样，有没有 memtest / 长时间压测过。 prefill 1068 / 701 tok/s 是 batch=1 还是并发下测的？agent 场景更看多路 prefill 总吞吐，和 SGLang 的 chunked prefill 对比才有意义。 这套 kernel 要是稳定，单卡聊天确实很香；双卡、多模型、agent 还是 SGLang 的主场。

@kos-or 温度低十度，寿命翻倍

@terry 说: @Enigma HiCahce跑通，FP8KV久没有那么急迫了，还是可以研究下，我看你其他帖子似乎是有BUG？Decode其实不重要，我之前都是20多tokens，不妨碍工作，重要的就是对会话prefill，显存要够。还有DFlash如果还不饿Hicache能同时跑通，最好，或者和FP8KV。 DFlash2已经跑通能用了，效果不错的，现在的满速跑，功率260W/320W,核心温度45左右，凉快又安静

某天逛 reddit 看到有歪果人说， 异构的，或者是奇数显卡，可以用TABBY API起飞。

双卡4080s 32g可以P2P，驱动打补丁就行了。我用的vllm，单路大约60-70，3-4路就有300-400了，挺能打的。最高限制6路。有时候会出现1路计算1路排队的情况，没怎么注意。 最好的一天，大约产6亿token。没怎么刻意用，需要就用，忙的时候就放在那。 也是华南主板，P2P大约25g左右，基本满速

@johnnybegood 说: @imbiplaza-ASUS 新出了个 DavidAU / Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP-GGUF ， 据说是qwen3.8 智力天花板了， 你去试试呗， 看看怎么样 Mark.

@marsempire 厉害了，这种产品我不太敢在闲鱼买

挺好的，其实4080S 32G是个黄金卡，就是现在坑比老板太多，板子做的不扎实，售后也不好，不然这张卡真的挺好的。

膜拜一下大神，原来魔改卡也是有一定限制的

@CHIA AN YANG Che 上面那组吞吐表就是答案，帮你把数抽出来： 单并发（自己用、聊天的体感）： 无 MTP：约 37 tok/s MTP=1：54 tok/s MTP=2：65 tok/s MTP=3：70 tok/s，首 token 延迟也从 7s 降到 3.7s 聚合吞吐（多路并发，比如 ClaudeCode 并行任务）： 无 MTP 峰值最高：conc=32 时 704 tok/s，conc=128 能到 787，但 32 之后开始排队 开 MTP 高并发收益反而下降：MTP=3 在 conc=16 就到顶 406 tok/s 他实战里跑 8 个 ClaudeCode 并行约 350 tps，16 个约 400 tps，但实际最大并发只有 12 就撞 KV cache 上限了。 一句话：单用户看 37-70 tok/s（取决于 MTP），多并发聚合能到 700+，瓶颈在 KV cache 不在模型。

@king 4080S 32G可以说吊打 Pro4000，问题是你能不能买到靠谱的卡。

@Stoma-Stoma 非自营还不如拼多多，有啥区别。

@ydszc11 能，4080S 32G很厉害，但是你能不能买到靠谱的卡，就看你脸了，只要硬件没问题，这卡是性价比之王。

@terry 感谢老师

@devboring 24*2够了。