RTX PRO 5000 72G SgLang 跑 Qwen3.8-27B FP8

[laihzang619]

source ~/sglang_env/bin/activate
SGLANG_ALLOW_OVERWRITE_LONGER_CONTEXT_LEN=1 python -m sglang.launch_server
--model-path /home/jhhotel/models/models/Qwen--Qwen3.8-27B-FP8/snapshots/master
--served-model-name Qwen3.8-27B-FP8
--attention-backend flashinfer
--kv-cache-dtype fp8_e4m3
--chunked-prefill-size 2048
--context-length 262144
--mem-fraction-static 0.90
--reasoning-parser qwen3
--tool-call-parser qwen3_coder
--speculative-algo NEXTN
--speculative-num-steps 3
--speculative-eagle-topk 1
--speculative-num-draft-tokens 4
--host 0.0.0.0
--port 30000
--enable-cache-report \

Ubuntu24.04

生产速度在55-80t/s 预填充6000左右 延时0.336 这些数据都是在单会话情况下的测试

[williamlouis]

不错。抄作业。66.5度 声音也起来了。汗。涡轮。

[张光璞]

@williamlouis 说:

不错。抄作业。66.5度 声音也起来了。汗。涡轮。

72G 的抄不了

[benton yi]

调整一下风扇策略，84℃风扇56%不合理。300w的风冷卡控制温度不要上75℃

[terry]

SGLang是Pro5000 72G的黄金搭档，实际上48G玩起来没这么嗨，72G能吃到所有红利，多会话也不含糊。Prefill没那么重要，因为SGLang的Radix缓存是真的只算增量部分，多开也完全够用。72G是关键体验差距，这是它比48G版本最大的增值。

[kop wang]

72G的核心就是可以同时开3个session的全量上下文。配合上几乎不掉速的2线程并发，是真正的生产级别。

48GB我用下来现在的掣肘就是kvcache不够用，只能单会话满上下文。
这就导致无法发挥LLM框架的全部效率。

[terry]

@kop-wang 你要把4比特跑起来，FP8 KV。

[kop wang]

@terry 4bit量化我看能力下降还是比较明显，因为我是当deepseek波峰时的平替用，所以不敢用太傻的版本

[terry]

@kop-wang 测试下，没啥影响，测试好了我抄作业，赶紧去折腾。