<![CDATA[SGLang运行Qwen3.6-27B-AWQ/FP8成功（双3080 20G）]]>SGLang运行Qwen3.6-27B-AWQ/FP8成功（双3080 20G）

目录

  • Qwen3.6-27B-FP8
  • Qwen3.6-27B-AWQ-INT4
  • Qwen3.6-27B-AWQ-MTP
  • 会话测试
  • 最后

Qwen3.6-27B-FP8

04575d3b-9658-40bb-b24b-aab697ea07ab-image.jpeg

  • 生成速度 38t/s，非常稳定
  • 总上下文长度纯文推理到170K左右，显存吃紧

Qwen3.6-27B-AWQ-INT4

7a2dffe2-ca9e-4100-9f4b-569e8400bc54-image.jpeg

  • 生成速度 ~53-54 token/s
  • 总上下文长度 380k 左右（应该还可优化），显存充裕

Qwen3.6-27B-AWQ-MTP

9490413a-5c66-417f-b44d-0909ffdc9efc-image.jpeg

  • 生成速度 65–83 token/s
  • 总上下文长度 260k 左右（应该还可优化），显存充裕

对话测试

84bec4bd-6176-4583-b7a1-109ddd2636d1-image.jpeg

9539120f-b13f-4ad5-9479-5320e68fcb33-image.jpeg
-3.
cf311266-b0bd-45e5-9fbc-c3844b280e06-image.jpeg

最后

  • SGLang版本0.5.16
  • 启动参数只需很基本的参数即可，无需太复杂
  • 之前没成功可能：1. SGLang版本问题 2. CUDA-tools版本与torch版本匹配问题
  • 随问随答的感觉很好，mama再也不用担心等太久花谢了
]]>https://lcz.me/topic/985/sglang运行qwen3.6-27b-awq-fp8成功-双3080-20gRSS for NodeTue, 11 Aug 2026 13:47:02 GMTFri, 31 Jul 2026 11:41:48 GMT60<![CDATA[Reply to SGLang运行Qwen3.6-27B-AWQ/FP8成功（双3080 20G） on Sun, 09 Aug 2026 12:01:40 GMT]]>@YDM 这个和SG-lang无关，和模型有关，Qwen也不是每次都能答对。训练过的就100%能答对。

]]>https://lcz.me/post/11784https://lcz.me/post/11784Sun, 09 Aug 2026 12:01:40 GMT<![CDATA[Reply to SGLang运行Qwen3.6-27B-AWQ/FP8成功（双3080 20G） on Sun, 09 Aug 2026 12:08:13 GMT]]>我雙5070ti 16gb llama.cpp用Qwen3.6-27B-Fable-Fus-711-UnHeretic-NM-DAU-NEO-MAX-NEO-MTP-Q5_K_M.gguf，跑hermes 問去洗車的問題。
f9f083b6-ec0d-4546-a5b2-2401884e148b-image.jpeg
45ef730c-1257-4e63-8122-0cd52b220d04-image.jpeg

SGLang 學習中!!~

@terry 好的，跑題了^^!!

]]>https://lcz.me/post/11783https://lcz.me/post/11783Sun, 09 Aug 2026 12:08:13 GMT<![CDATA[Reply to SGLang运行Qwen3.6-27B-AWQ/FP8成功（双3080 20G） on Sun, 09 Aug 2026 09:05:34 GMT]]>50+ token/s 是真香，用过才知道 20+ 还是太苦了

]]>https://lcz.me/post/11781https://lcz.me/post/11781Sun, 09 Aug 2026 09:05:34 GMT<![CDATA[Reply to SGLang运行Qwen3.6-27B-AWQ/FP8成功（双3080 20G） on Sun, 09 Aug 2026 03:37:29 GMT]]>这两天在 GDX 上折腾 SGLang 配 27B。还是有点坑的。默认 Mamba 开很大，不匹配你的并发数。认不全统一内存的总量，kvcache 被 Mamba 挤压。手动设置Mamba size 要注意 和并发数不是 1 :1。最后我把--mem-fraction-static 1.4 才勉强把 kvcache 撑起来。

]]>https://lcz.me/post/11760https://lcz.me/post/11760Sun, 09 Aug 2026 03:37:29 GMT