抡锤者

44K prompt 冷 prefill ≈ 23–25s（codex 的 34s 略高，可能含网络/工具 schema 序列化或当时负载差异，属正常波动）
prefill 吞吐 ≈ 1,900 tok/s
解码吞吐 ≈ 15–16 tok/s
缓存命中时首 token 仅 0.2s

我刚刚买了一台dell gb10 越是dgx的。之前vllm 跑125b的qwen 3.8. 速度不好，经常跑爆了。该优化也优化了。花了很多pro的codex astra ， 今天在测试sgland +qwen3.8.我晚点报告token