<![CDATA[RTX PRO 5000 72G SgLang 跑 Qwen3.8-27B FP8]]>source ~/sglang_env/bin/activate
SGLANG_ALLOW_OVERWRITE_LONGER_CONTEXT_LEN=1 python -m sglang.launch_server
--model-path /home/jhhotel/models/models/Qwen--Qwen3.8-27B-FP8/snapshots/master
--served-model-name Qwen3.8-27B-FP8
--attention-backend flashinfer
--kv-cache-dtype fp8_e4m3
--chunked-prefill-size 2048
--context-length 262144
--mem-fraction-static 0.90
--reasoning-parser qwen3
--tool-call-parser qwen3_coder
--speculative-algo NEXTN
--speculative-num-steps 3
--speculative-eagle-topk 1
--speculative-num-draft-tokens 4
--host 0.0.0.0
--port 30000
--enable-cache-report \

Ubuntu24.04

7da4ed66-6eda-43af-91f4-5696026f5dd5-image.jpeg
202490b7-be8a-45c8-b2a3-427f2a042eba-image.jpeg
7e7706c7-2fdf-48c4-88b8-bf95e88c6341-image.jpeg
f3d983cd-5c8a-489d-952b-8a25181b90cf-image.jpeg
3fb25b0c-df24-4284-bdd7-29b1fa11c4e6-image.jpeg
bfcd9aaf-674e-4362-94ec-93dcca3983a3-image.jpeg
24881020-5b45-4824-8180-aa85967d9218-image.jpeg

生产速度在55-80t/s 预填充6000左右 延时0.336 这些数据都是在单会话情况下的测试

]]>https://lcz.me/topic/1267RSS for NodeWed, 09 Sep 2026 23:52:07 GMTSat, 22 Aug 2026 12:33:18 GMT60<![CDATA[Reply to RTX PRO 5000 72G SgLang 跑 Qwen3.8-27B FP8 on Mon, 24 Aug 2026 04:14:21 GMT]]>@kop-wang 测试下，没啥影响，测试好了我抄作业，赶紧去折腾。

]]>https://lcz.me/post/13695https://lcz.me/post/13695Mon, 24 Aug 2026 04:14:21 GMT<![CDATA[Reply to RTX PRO 5000 72G SgLang 跑 Qwen3.8-27B FP8 on Mon, 24 Aug 2026 03:08:54 GMT]]>@terry 4bit量化我看能力下降还是比较明显，因为我是当deepseek波峰时的平替用，所以不敢用太傻的版本
7ae032fa-2485-43a8-bb91-e4025d396f52-image.jpeg

]]>https://lcz.me/post/13674https://lcz.me/post/13674Mon, 24 Aug 2026 03:08:54 GMT<![CDATA[Reply to RTX PRO 5000 72G SgLang 跑 Qwen3.8-27B FP8 on Mon, 24 Aug 2026 03:06:50 GMT]]>@kop-wang 你要把4比特跑起来，FP8 KV。

]]>https://lcz.me/post/13673https://lcz.me/post/13673Mon, 24 Aug 2026 03:06:50 GMT<![CDATA[Reply to RTX PRO 5000 72G SgLang 跑 Qwen3.8-27B FP8 on Mon, 24 Aug 2026 01:39:33 GMT]]>72G的核心就是可以同时开3个session的全量上下文。配合上几乎不掉速的2线程并发，是真正的生产级别。

48GB我用下来现在的掣肘就是kvcache不够用，只能单会话满上下文。
这就导致无法发挥LLM框架的全部效率。

]]>https://lcz.me/post/13662https://lcz.me/post/13662Mon, 24 Aug 2026 01:39:33 GMT<![CDATA[Reply to RTX PRO 5000 72G SgLang 跑 Qwen3.8-27B FP8 on Sun, 23 Aug 2026 15:39:49 GMT]]>SGLang是Pro5000 72G的黄金搭档，实际上48G玩起来没这么嗨，72G能吃到所有红利，多会话也不含糊。Prefill没那么重要，因为SGLang的Radix缓存是真的只算增量部分，多开也完全够用。72G是关键体验差距，这是它比48G版本最大的增值。

]]>https://lcz.me/post/13621https://lcz.me/post/13621Sun, 23 Aug 2026 15:39:49 GMT<![CDATA[Reply to RTX PRO 5000 72G SgLang 跑 Qwen3.8-27B FP8 on Sun, 23 Aug 2026 14:32:01 GMT]]>调整一下风扇策略，84℃风扇56%不合理。300w的风冷卡控制温度不要上75℃

]]>https://lcz.me/post/13608https://lcz.me/post/13608Sun, 23 Aug 2026 14:32:01 GMT<![CDATA[Reply to RTX PRO 5000 72G SgLang 跑 Qwen3.8-27B FP8 on Sat, 22 Aug 2026 15:39:20 GMT]]>

@williamlouis 说:

不错。抄作业。66.5度 声音也起来了。汗。涡轮。

72G 的抄不了😧

]]>https://lcz.me/post/13491https://lcz.me/post/13491Sat, 22 Aug 2026 15:39:20 GMT<![CDATA[Reply to RTX PRO 5000 72G SgLang 跑 Qwen3.8-27B FP8 on Sat, 22 Aug 2026 13:52:49 GMT]]>不错。抄作业。66.5度 声音也起来了。汗。涡轮。

]]>https://lcz.me/post/13477https://lcz.me/post/13477Sat, 22 Aug 2026 13:52:49 GMT