<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0"><channel><title><![CDATA[27B VS 35B VS 125B,新鲜出炉]]></title><description><![CDATA[<p dir="auto">结论：<br />
27B   Qwen3.8-27B dense        首token 0.47s   30.4 tok/s   加载 14s<br />
35B   Qwen3.6-35B A3B          首token 1.46s   25.1 tok/s   加载 10s<br />
125B  Qwen3.8-Flash-Next A3B   首token 7.69s    8.4 tok/s   加载 18s</p>
<p dir="auto">配置：<br />
【27B】Qwen3.8-27B-Uncensored-Q4_K_M.gguf  (16G, dense 密集模型)<br />
模型文件 : ~/models/Qwen3.8-27B-Uncensored-Q4_K_M.gguf<br />
量化     : Q4_K_M，dense（无 MoE，27B 参数全参与计算）<br />
端口     : 8081<br />
启动参数 :<br />
--host 0.0.0.0 --port 8081<br />
-m &lt;模型路径&gt;<br />
-ngl 999                    # 全 GPU<br />
-c 262144                   # 256K 上下文<br />
-b 2048 -ub 2048<br />
-fa on                      # flash attention<br />
-ctk q4_0 -ctv q4_0         # KV cache 量化<br />
--jinja --reasoning-preserve<br />
-np 1<br />
--threads 8 --threads-batch 44   # decode 8线程防超订，prefill 44线程<br />
（脚本: ~/qwen-server/start-27b.sh）</p>
<p dir="auto">【35B】Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-Q4_K_M.gguf  (20G, MoE A3B)<br />
模型文件 : ~/models/qwen3.6-35b-uncensored/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-Q4_K_M.gguf<br />
量化     : Q4_K_M，MoE 35B 总参数 / 3B 激活<br />
端口     : 8084<br />
启动参数 :<br />
--host 0.0.0.0 --port 8084<br />
-m &lt;模型路径&gt;<br />
-ngl 999                    # 所有层先映射 GPU<br />
-ncmoe 24                   # 24 个 MoE 专家踢到 CPU 内存（省显存）<br />
-c 204800                   # 200K 上下文<br />
-b 2048 -ub 2048<br />
-fa on<br />
-ctk q4_0 -ctv q4_0<br />
--jinja --reasoning-preserve<br />
-np 1<br />
--threads 44 --threads-batch 44<br />
（脚本: ~/qwen-server/start-35b-expert-offload.sh）</p>
<p dir="auto">【125B】Qwen3.8-Flash-Next-UD-Q4_K_XL  (4 分片共 104G, MoE A3B/512专家)<br />
模型文件 : ~/models/Qwen3.8-Flash-Next/UD-Q4_K_XL/Qwen3.8-Flash-Next-UD-Q4_K_XL-00001-of-00004.gguf<br />
（-m 指向 00001，llama.cpp 自动识别同目录其余 3 片）<br />
量化     : UD-Q4_K_XL，实测总参数 176.94B / A3B 激活 / 512 专家<br />
端口     : 8085（无生产脚本，测试/对比时用）<br />
启动参数 :<br />
--host 127.0.0.1 --port 8085<br />
-m &lt;00001-of-00004.gguf&gt;<br />
-ngl 999<br />
-ncmoe 40                   # 40 个专家走 CPU 内存（最优值，见下）<br />
-c 8192                     # 测试用 8K，可按需调大<br />
-b 1024 -ub 1024<br />
-fa on<br />
-ctk q4_0 -ctv q4_0<br />
--jinja --reasoning-preserve<br />
-np 1<br />
--threads 44 --threads-batch 44</p>
]]></description><link>https://lcz.me/topic/1394</link><generator>RSS for Node</generator><lastBuildDate>Thu, 10 Sep 2026 02:36:04 GMT</lastBuildDate><atom:link href="https://lcz.me/topic/1394.rss" rel="self" type="application/rss+xml"/><pubDate>Sat, 29 Aug 2026 00:41:47 GMT</pubDate><ttl>60</ttl><item><title><![CDATA[Reply to 27B VS 35B VS 125B,新鲜出炉 on Sat, 29 Aug 2026 02:21:34 GMT]]></title><description><![CDATA[<p dir="auto">下次发帖的时候让AI整理下格式，太乱了。</p>
]]></description><link>https://lcz.me/post/14687</link><guid isPermaLink="true">https://lcz.me/post/14687</guid><dc:creator><![CDATA[terry]]></dc:creator><pubDate>Sat, 29 Aug 2026 02:21:34 GMT</pubDate></item><item><title><![CDATA[Reply to 27B VS 35B VS 125B,新鲜出炉 on Sat, 29 Aug 2026 02:02:39 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/weidong" aria-label="Profile: weidong">@<bdi>weidong</bdi></a> 128 d3+7900xtx</p>
]]></description><link>https://lcz.me/post/14682</link><guid isPermaLink="true">https://lcz.me/post/14682</guid><dc:creator><![CDATA[daniel zhou]]></dc:creator><pubDate>Sat, 29 Aug 2026 02:02:39 GMT</pubDate></item><item><title><![CDATA[Reply to 27B VS 35B VS 125B,新鲜出炉 on Sat, 29 Aug 2026 01:36:52 GMT]]></title><description><![CDATA[<p dir="auto">用的啥硬件啊，125B这个速度是没法用了</p>
]]></description><link>https://lcz.me/post/14678</link><guid isPermaLink="true">https://lcz.me/post/14678</guid><dc:creator><![CDATA[weidong]]></dc:creator><pubDate>Sat, 29 Aug 2026 01:36:52 GMT</pubDate></item></channel></rss>