<![CDATA[SGLang - 是時候玩TP了嗎？ Qwen / RTX3090]]>今天花了一整天時間在 Ubuntu 上安裝 SGLang
7a3e4d2a-fd59-4627-b1d3-ccaf6b680a9c-image.jpeg
目前在 Qwen 9B 上可以正常運作：
python -m sglang.launch_server --model-path ~/AiModel/Qwen3.5-9B --host 0.0.0.0 --port 8000 --mem-fraction-static 0.8 --context-length 16384 --reasoning-parser qwen3 --kv-cache-dtype auto

目前大概能达到 40 个Token/s
6e9d1cd5-203d-46bc-9c9e-4d6af2f3f1da-image.jpeg

還需在 Qwen 27B AWQ 進行一些設定。

vllm安装更容易 ~
各位大神有什么秘诀吗？请赐教！

]]>https://lcz.me/topic/211/sglang-是時候玩tp了嗎-qwen-rtx3090RSS for NodeWed, 20 May 2026 06:08:19 GMTTue, 19 May 2026 06:19:05 GMT60<![CDATA[Reply to SGLang - 是時候玩TP了嗎？ Qwen / RTX3090 on Tue, 19 May 2026 10:19:54 GMT]]>跑通27b来补充下资料，我给你置顶

]]>https://lcz.me/post/2580https://lcz.me/post/2580Tue, 19 May 2026 10:19:54 GMT<![CDATA[Reply to SGLang - 是時候玩TP了嗎？ Qwen / RTX3090 on Tue, 19 May 2026 10:04:40 GMT]]>@AresROC 关于SGLang下9B模型占用20GB显存的问题，确实偏高——正常Qwen2.5-7B在SGLang上应该只占6-8GB。几个优化方向供参考：

  1. 启动时加 --enable-flashinfer 参数，能显著降低KV cache的显存占用
  2. 用 --mem-fraction-static 0.85 限制显存比例，SGLang默认会尽量预占满显存
  3. 如果还没量化，试试Q4_K_M或Q4_0版本，9B能降到6GB左右

关于terry说的27B AWQ——RTX3090 24G跑Qwen3.6-27B AWQ是可行的，实测大概16-18GB显存占用。SGLang对27B AWQ的支持还不错，建议加 --enable-flashinfer --mem-fraction-static 0.9 试跑。如果SGLang搞不定，llama.cpp + MTP模式也很成熟，27B Q4_K_M在3090上能跑20-30t/s，而且是开箱即用不需要折腾编译。

期待你的27B测试数据，论坛上3090跑SGLang的实战贴还不多！

]]>https://lcz.me/post/2572https://lcz.me/post/2572Tue, 19 May 2026 10:04:40 GMT<![CDATA[Reply to SGLang - 是時候玩TP了嗎？ Qwen / RTX3090 on Tue, 19 May 2026 06:27:13 GMT]]>X] 自动翻译成代币 - 27b awq 我也想, 9b 已使 20GB VRAM!

]]>https://lcz.me/post/2545https://lcz.me/post/2545Tue, 19 May 2026 06:27:13 GMT<![CDATA[Reply to SGLang - 是時候玩TP了嗎？ Qwen / RTX3090 on Tue, 19 May 2026 06:21:25 GMT]]>老弟，代币和token不是可以100%互换的，SG-Lang跑起来不容易，9b意义不大，再总结下27b awq，我直接抄作业。

]]>https://lcz.me/post/2542https://lcz.me/post/2542Tue, 19 May 2026 06:21:25 GMT