<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0"><channel><title><![CDATA[RTX 5080 16GB 单卡:Basalt v0.3.3 + Qwen3.8-Flash-Next NVFP4-DQ6_K 实测(192K 上下文)]]></title><description><![CDATA[<h1>RTX 5080 16GB 单卡:Basalt v0.3.3 + Qwen3.8-Flash-Next NVFP4-DQ6_K 实测(192K 上下文)</h1>
<blockquote>
<p dir="auto">先说明:这是我自己一台机器上的实测,<strong>每项只跑了一次或少数几次</strong>,没有大规模质量评测。对比数据取自我之前在同一台机器上用 Strata 的测试,<strong>不是同一时间窗口的严格对照</strong>。所有数字请当作量级参考。</p>
</blockquote>
<h2>TL;DR</h2>
<ul>
<li>官方 <code>Qwen3.8-FN-NVFP4-DQ6_K.basalt</code> 文件 131.7 GB(122.6 GiB),<strong>在 96 GB 内存 + 16 GB 显存的机器上能放进去</strong>:启动日志显示常驻 67.8 GiB(显存 13.4 + 内存 54.4),<strong>没有专家留在 SSD</strong>。</li>
<li>预填充(读提示)5,400–6,000 tok/s;192K 附近的检索测试通过。生成速度随上下文变长从约 150 降到约 116 tok/s。</li>
<li>编程任务 A(写缓存加单元测试)重复 4 次<strong>全部通过</strong>,实测生成约 130 tok/s。</li>
<li>和我之前用 Strata 跑 UD-Q4_K_XL 相比,预填充快约 35–41%,生成快约 25–60%(长上下文检索里差距较小,编程任务里较大)。和 Strata + IQ3_S 相比,预填充快 21–37%,但<strong>长上下文下生成速度更低</strong>。</li>
<li>关键是"为什么能放进去":NVFP4 的专家只有 63.3 GiB,而 50.7 GiB 的 PLE 表放在 SSD 上读取,不占内存预算。下面有每个包的精确算法和数字。</li>
</ul>
<h2>1. 硬件与软件</h2>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>项目</th>
<th>内容</th>
</tr>
</thead>
<tbody>
<tr>
<td>GPU</td>
<td>NVIDIA GeForce RTX 5080 16 GB(sm_120),PCIe 5.0 ×16,功率限制 300 W(默认 360 W)</td>
</tr>
<tr>
<td>CPU</td>
<td>Intel Core Ultra 7 265K(20 线程,<strong>无 AVX-512</strong>,Basalt 启动时有警告,专家内核走 AVX2)</td>
</tr>
<tr>
<td>内存</td>
<td>2×48 GB DDR5-6400,可用 93.7 GiB</td>
</tr>
<tr>
<td>存储</td>
<td>NVMe SSD(内核日志显示 Lexar NM990 1TB)</td>
</tr>
<tr>
<td>系统</td>
<td>Debian 13(命令行模式),内核 7.2.12(backports),Secure Boot 关闭</td>
</tr>
<tr>
<td>驱动</td>
<td>NVIDIA 620.70.06(开源内核模块);系统里只装了 CUDA 13.5 运行库(cudart、cuBLAS),<strong>没有装完整 Toolkit</strong></td>
</tr>
<tr>
<td>引擎</td>
<td>Basalt <strong>v0.3.3</strong> 预编译包 <code>basalt-v0.3.3-linux-x64.tar.gz</code>(63.8 MB,SHA256 <code>11a40d39…729a8f</code>,与 Release 页面的 digest 一致)</td>
</tr>
<tr>
<td>模型</td>
<td><code>jesdga/Qwen3.8-Flash-Next-Basalt</code> 仓库(revision <code>65de5a9e</code>)的 <code>Qwen3.8-FN-NVFP4-DQ6_K.basalt</code>,131,681,979,197 字节,SHA256 <code>177f9b70…15fad33</code>(与 Hugging Face 记录一致)</td>
</tr>
</tbody>
</table>
<h2>2. 配置</h2>
<p dir="auto"><code>basalt_config.json</code>(没有开任何会改变输出的选项):</p>
<pre><code class="language-json">{
  "version": 2,
  "models": [
    { "alias": "qwen3.8-flash-next-nvfp4-dq6k",
      "model": "../models/Qwen3.8-FN-NVFP4-DQ6_K.basalt",
      "gpu": "0", "kv": "int8", "max-context": 196608 }
  ],
  "engine": { "resident-experts": true },
  "server": { "host": "127.0.0.1", "port": 8080 }
}
</code></pre>
<p dir="auto">启动:<code>bin/basalt serve --config basalt_config.json</code>(只设了 <code>LD_LIBRARY_PATH</code> 指向 CUDA 运行库;没有提升 <code>ulimit -l</code>)。</p>
<p dir="auto">引擎默认选的:<code>spec=8</code>(MTP 投机解码)、<code>prefill auto</code>、视觉关闭(<code>images=off</code>)、弹性 KV(<code>kv 0.7/3.0 GiB cuda0 elastic</code>)。<strong>没有</strong>使用 <code>relaxed-drafting</code>、<code>route-prior</code>、<code>route-tail-skip</code>。</p>
<h2>3. 内存:为什么 132 GB 的包能在 96 GB 内存上跑</h2>
<p dir="auto"><code>.basalt</code> 文件开头有 64 KiB 的头(魔数 <code>BASALTMF</code>,每段一个 128 字节条目,含偏移和大小)。我用 HTTP Range 只读了头和 <code>meta</code> 段(JSON,含每个张量的类型和字节数),<strong>没有下载整个文件</strong>,就算出了每个包的构成。</p>
<p dir="auto"><code>NVFP4-DQ6_K</code> 的构成(GiB):</p>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>部分</th>
<th style="text-align:right">大小</th>
<th>说明</th>
</tr>
</thead>
<tbody>
<tr>
<td>专家(NVFP4)</td>
<td style="text-align:right">63.28</td>
<td>NVIDIA 的 NVFP4 专家码原样搬运</td>
</tr>
<tr>
<td>稠密权重(<code>gguf</code> 段去掉 PLE + <code>dense</code> 段)</td>
<td style="text-align:right">6.36</td>
<td>Q6_K 等</td>
</tr>
<tr>
<td>hc、MTP 草稿器</td>
<td style="text-align:right">1.43</td>
<td></td>
</tr>
<tr>
<td><strong>必须常驻合计</strong></td>
<td style="text-align:right"><strong>71.08</strong></td>
<td>放内存 + 显存</td>
</tr>
<tr>
<td>PLE 表 <code>per_layer_token_embd.weight</code></td>
<td style="text-align:right"><strong>50.66</strong></td>
<td><strong>Q8_0,形状 [160, 320001536],54,400,261,120 字节,放在 SSD 上读取</strong></td>
</tr>
<tr>
<td>视觉投影</td>
<td style="text-align:right">0.85</td>
<td>本测试视觉关闭</td>
</tr>
</tbody>
</table>
<p dir="auto">所有 Qwen3.8-Flash-Next 包的对照(GiB,同样的算法,<strong>为我自己的计算</strong><img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/1f61e.png?v=3c59dda5525" class="not-responsive emoji emoji-android emoji--disappointed" style="height:1.4em;width:auto;vertical-align:middle" title="):" alt="😞" /></p>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>包</th>
<th style="text-align:right">文件</th>
<th>PLE 类型</th>
<th style="text-align:right">PLE</th>
<th style="text-align:right">专家</th>
<th style="text-align:right"><strong>常驻(去掉 PLE)</strong></th>
</tr>
</thead>
<tbody>
<tr>
<td>UD-IQ1_S</td>
<td style="text-align:right">65.57</td>
<td>IQ4_NL</td>
<td style="text-align:right">26.82</td>
<td style="text-align:right">31.10</td>
<td style="text-align:right">37.85</td>
</tr>
<tr>
<td>UD-IQ1_M</td>
<td style="text-align:right">67.09</td>
<td>IQ4_NL</td>
<td style="text-align:right">26.82</td>
<td style="text-align:right">32.42</td>
<td style="text-align:right">39.37</td>
</tr>
<tr>
<td>UD-IQ2_XS</td>
<td style="text-align:right">74.37</td>
<td>IQ4_NL</td>
<td style="text-align:right">26.82</td>
<td style="text-align:right">39.38</td>
<td style="text-align:right">46.66</td>
</tr>
<tr>
<td>UD-IQ3_XXS</td>
<td style="text-align:right">81.59</td>
<td>IQ4_NL</td>
<td style="text-align:right">26.82</td>
<td style="text-align:right">46.84</td>
<td style="text-align:right">53.87</td>
</tr>
<tr>
<td>UD-IQ4_XS</td>
<td style="text-align:right">90.94</td>
<td>IQ4_NL</td>
<td style="text-align:right">26.82</td>
<td style="text-align:right">56.24</td>
<td style="text-align:right">63.22</td>
</tr>
<tr>
<td>UD-Q4_K_XL</td>
<td style="text-align:right">107.39</td>
<td>IQ4_NL</td>
<td style="text-align:right">26.82</td>
<td style="text-align:right">71.73</td>
<td style="text-align:right">79.67</td>
</tr>
<tr>
<td><strong>NVFP4-DQ6_K</strong></td>
<td style="text-align:right"><strong>122.64</strong></td>
<td><strong>Q8_0</strong></td>
<td style="text-align:right"><strong>50.66</strong></td>
<td style="text-align:right"><strong>63.28</strong></td>
<td style="text-align:right"><strong>71.08</strong></td>
</tr>
<tr>
<td>NVFP4-DQ8</td>
<td style="text-align:right">123.28</td>
<td>Q8_0</td>
<td style="text-align:right">50.66</td>
<td style="text-align:right">63.28</td>
<td style="text-align:right">71.72</td>
</tr>
<tr>
<td>UD-Q5_K_XL</td>
<td style="text-align:right">151.12</td>
<td>Q8_0</td>
<td style="text-align:right">50.66</td>
<td style="text-align:right">91.61</td>
<td style="text-align:right">99.56</td>
</tr>
<tr>
<td>UD-Q6_K_XL</td>
<td style="text-align:right">161.25</td>
<td>Q8_0</td>
<td style="text-align:right">50.66</td>
<td style="text-align:right">101.75</td>
<td style="text-align:right">109.69</td>
</tr>
<tr>
<td>Q8_0</td>
<td style="text-align:right">179.00</td>
<td>Q8_0</td>
<td style="text-align:right">50.66</td>
<td style="text-align:right">119.53</td>
<td style="text-align:right">127.44</td>
</tr>
</tbody>
</table>
<p dir="auto">交叉验证:用同样口径算 UD-Q4_K_XL 的专家是 71.73 GiB,和我之前用 Strata 跑它时日志里的 <code>loaded 71.73 GiB</code> 完全一致。</p>
<p dir="auto"><strong>实测占用</strong>(Basalt 启动日志与系统快照):</p>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>项目</th>
<th>数值</th>
</tr>
</thead>
<tbody>
<tr>
<td>加载</td>
<td><code>loaded 67.8GiB 16.4s cuda0=13.4GiB ram=54.4GiB</code>(<strong>文件当时在页缓存里,刚做完 SHA256 校验,所以 16.4 秒不代表冷启动</strong>)</td>
</tr>
<tr>
<td>日志警告</td>
<td><strong>没有</strong> <code>experts on SSD</code> 警告</td>
</tr>
<tr>
<td>系统内存</td>
<td>已用约 72.6–73.3 GB,可用约 22.6–23.3 GB(测试全程基本不变)</td>
</tr>
<tr>
<td>显存</td>
<td>15.2–15.3 GiB / 16 GiB</td>
</tr>
<tr>
<td>引擎进程磁盘读</td>
<td>一次 8K 提示 714 MiB,一次 65K 提示 379 MiB(数百 MiB 量级,与 PLE 在 SSD 上读取相符,<strong>我没有进一步拆分</strong>;系统页缓存约 23 GB)</td>
</tr>
<tr>
<td>峰值功耗</td>
<td>约 303 W(限制 300 W,每秒采样有轻微过冲)</td>
</tr>
</tbody>
</table>
<h2>4. 测试方法</h2>
<ul>
<li><strong>检索</strong>:在约 8K / 32K / 64K / 128K / 188K token 的填充文本正中间埋一个暗号,问模型暗号是什么,<code>temperature=0</code>,每档一次。输出只有一个暗号,所以"生成速度"偏高,不代表长文生成。</li>
<li><strong>编程任务 A</strong>:几乎没有上下文,让模型写带单元测试的 TTL/LRU 缓存(类、淘汰规则、可注入计时器),用 <code>unittest</code> 运行模型写的文件;<code>max_tokens=30000</code>(太小会把输出截断,我第一次就是这样失败的)。</li>
<li><strong>编程任务 B / C</strong>:把真实 Python 标准库源码拼成约 86K / 约 151K token 的堆,正中间埋一个"定价模块"(阶梯折扣门槛 37 和 120、各地区税率、最低收费 5.00),让模型重写等价函数,用 11 个用例(含边界)与原模块比对。</li>
<li><strong>速度字段</strong>取自响应的 <code>timings</code>。<strong>注意</strong>:Basalt 在长输出请求上,引擎报的 <code>predicted_per_second</code> 有时不可信:任务 A 四次里有两次报了 181.7 和 185.1 tok/s,而按"输出 token ÷ 总耗时"算只有 133.6 和 129.3 tok/s;其中第一次的"解码耗时"字段只有 11.3 秒,却对应 24,560 个输出 token,不可能。所以任务 A 的生成速度我一律用"输出 token ÷ 总耗时"。</li>
<li>请求必须带 <code>model</code> 字段(Basalt 有多模型路由,不带会返回 404 <code>model is required</code>)。</li>
</ul>
<h2>5. 结果</h2>
<h3>5.1 长上下文检索(提示处理 tok/s / 生成 tok/s)</h3>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th style="text-align:right">输入 token</th>
<th>Basalt NVFP4-DQ6_K(192K)</th>
<th>Strata UD-Q4_K_XL(192K)</th>
<th>Strata IQ3_S(256K)</th>
<th style="text-align:center">暗号</th>
</tr>
</thead>
<tbody>
<tr>
<td style="text-align:right">7,883</td>
<td>4,402 / 133</td>
<td>3,267 / 82</td>
<td>3,626 / 144</td>
<td style="text-align:center"><img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/2705.png?v=3c59dda5525" class="not-responsive emoji emoji-android emoji--white_check_mark" style="height:1.4em;width:auto;vertical-align:middle" title="✅" alt="✅" /></td>
</tr>
<tr>
<td style="text-align:right">31,955</td>
<td>5,476 / 150</td>
<td>3,878 / 92</td>
<td>4,434 / 172</td>
<td style="text-align:center"><img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/2705.png?v=3c59dda5525" class="not-responsive emoji emoji-android emoji--white_check_mark" style="height:1.4em;width:auto;vertical-align:middle" title="✅" alt="✅" /></td>
</tr>
<tr>
<td style="text-align:right">65,332</td>
<td>5,975 / 138</td>
<td>4,229 / 92</td>
<td>4,371 / 168</td>
<td style="text-align:center"><img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/2705.png?v=3c59dda5525" class="not-responsive emoji emoji-android emoji--white_check_mark" style="height:1.4em;width:auto;vertical-align:middle" title="✅" alt="✅" /></td>
</tr>
<tr>
<td style="text-align:right">132,934</td>
<td>5,708 / 116</td>
<td>4,090 / 92</td>
<td>4,291 / 169</td>
<td style="text-align:center"><img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/2705.png?v=3c59dda5525" class="not-responsive emoji emoji-android emoji--white_check_mark" style="height:1.4em;width:auto;vertical-align:middle" title="✅" alt="✅" /></td>
</tr>
<tr>
<td style="text-align:right">187,865</td>
<td>5,490 / 118</td>
<td>3,958 / 96</td>
<td>(未测此长度)</td>
<td style="text-align:center"><img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/2705.png?v=3c59dda5525" class="not-responsive emoji emoji-android emoji--white_check_mark" style="height:1.4em;width:auto;vertical-align:middle" title="✅" alt="✅" /></td>
</tr>
</tbody>
</table>
<ul>
<li>预填充:Basalt 比 Strata UD-Q4_K_XL 快约 35–41%,比 Strata IQ3_S 快约 21–37%。</li>
<li>生成:Basalt 从 150 降到 116 tok/s(长度从 32K 到 133K),<strong>Strata 的两组基本是平的</strong>。在 133K 处 Basalt 比 Strata IQ3_S 低约 31%。我没有深入查原因。</li>
<li>这个测试输出很短,生成速度会受推测解码接受率影响(Basalt 日志里接受率 79–97%)。</li>
</ul>
<h3>5.2 编程任务</h3>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>任务</th>
<th>Basalt NVFP4-DQ6_K</th>
<th>Strata UD-Q4_K_XL(同机)</th>
<th>Strata IQ3_S(同机)</th>
</tr>
</thead>
<tbody>
<tr>
<td>A:缓存加单元测试</td>
<td><strong>4/4 通过</strong>;输出 20,070–24,704 token,耗时 153.7–191.1 s,<strong>约 129–134 tok/s</strong></td>
<td>4/4 通过;约 2.5 万 token,约 300 s,约 80 tok/s</td>
<td>通过(1 次);约 2.4 万 token,约 169 s,141 tok/s</td>
</tr>
<tr>
<td>B:86K 上下文改写</td>
<td>11/11;输出 1,197 token,25.6 s;预填充 5,771,生成 112.5</td>
<td>11/11;1,040 token,36.9 s;预填充 3,994,生成 71.1</td>
<td>11/11;690 token,25.1 s;预填充 4,406,生成 127.7</td>
</tr>
<tr>
<td>C:151K 上下文改写</td>
<td>11/11;输出 953 token,35.6 s;预填充 5,652,生成 107.4</td>
<td>11/11;905 token,49.5 s;预填充 4,072,生成 73.2</td>
<td>(未测同长度;223K 时 11/11,70.3 s)</td>
</tr>
</tbody>
</table>
<ul>
<li>任务 A 四次的单元测试数量是 19/21/20/18(模型每次自己写的数量不同)。</li>
<li>B 的总耗时 Basalt 和 Strata IQ3_S 几乎一样(25.6 对 25.1 s),因为 Basalt 预填充更快,但这次输出了更多 token、生成更慢。</li>
</ul>
<h2>6. DQ6_K 与 DQ8 的区别(引用 Basalt 文档,我没有测 DQ8)</h2>
<p dir="auto">名字里的 D 指稠密投影层的格式:DQ6_K 是 Q6_K,DQ8 是 Q8_0;专家、PLE 完全相同。</p>
<ul>
<li>大小:DQ8 文件多 0.64 GiB(123.28 对 122.64 GiB)。</li>
<li>质量(文档数据):默认配置 KLD 0.06213、top-1 91.59%;换成 Q8_0 稠密层 KLD 降约 0.0059、top-1 提高约 0.55 个百分点。文档称这是默认配置里<strong>唯一有可测量代价的舍入</strong>。</li>
<li>速度(文档数据,双卡 RTX 5090 + 5060 Ti):DQ8 解码慢约 5–9%,预填充慢约 1%。文档另一处写"散文慢约 7%、结构化输出慢约 3%",与表里的结构化数字(约 9%)不一致。</li>
</ul>
<h2>7. 局限</h2>
<ul>
<li>只在一台机器上测,每项一次(任务 A 四次),1–5% 的差异在噪声范围内。</li>
<li>只测了 192K,没有测 256K;检索最大 188K,没有跑满。</li>
<li>编程任务只证明"长上下文里检索加改写能做对",不代表大型代码库里的复杂推理质量。没有测困惑度或其他质量指标。</li>
<li>没有测 <code>route-tail-skip</code>、<code>route-prior</code>、<code>relaxed-drafting</code> 这些会改变输出的选项(帖子和文档里提到的提速手段)。</li>
<li>与 Strata 的对比不是同窗口严格对照:Strata IQ3_S 是 256K 上下文、DFlash2 草稿器、经 systemd 运行;Strata UD-Q4_K_XL 和 Basalt 是 192K。Basalt 用 MTP 草稿器。Basalt 的"思考预算"还会随输出上限自动缩放(日志里 <code>thinking budget 200 tokens, output cap 400 (answer-room auto)</code>),短输出测试里这可能影响输出长度。</li>
<li>页缓存状态不同:Basalt 加载时文件在页缓存里,冷启动时间我没有测。</li>
<li>引擎在长输出请求上报的解码速度字段不可靠(见第 4 节),任务 A 的速度我用的是总耗时折算值。</li>
</ul>
<h2>8. 复现</h2>
<pre><code class="language-sh"># 取 Basalt 预编译包并校验(digest 以 Release 页面为准)
wget https://github.com/jesdga95/basalt/releases/download/v0.3.3/basalt-v0.3.3-linux-x64.tar.gz
sha256sum basalt-v0.3.3-linux-x64.tar.gz     # 11a40d39890531b62516a4f84e4cedb1b7c6cc1113827e50cc10ab0073729a8f
tar xzf basalt-v0.3.3-linux-x64.tar.gz &amp;&amp; cd basalt-v0.3.3-linux-x64
python3 -m venv .venv &amp;&amp; .venv/bin/pip install -r requirements.txt     # 需要 python3-venv

# 需要 R580 以上驱动和 CUDA 13 运行库(cudart、cuBLAS)
export LD_LIBRARY_PATH=/usr/local/cuda-13.5/lib64:$LD_LIBRARY_PATH

# 模型(可续传),下完核对 SHA256
wget -c -O ../models/Qwen3.8-FN-NVFP4-DQ6_K.basalt \
  https://huggingface.co/jesdga/Qwen3.8-Flash-Next-Basalt/resolve/65de5a9e636e8bbe1200cbcd6eb8aa421e6a66c6/Qwen3.8-FN-NVFP4-DQ6_K.basalt
sha256sum ../models/Qwen3.8-FN-NVFP4-DQ6_K.basalt   # 177f9b70c63ecd7efd17fc705ad85a8c8253d59e4f04dd10a001b556d15fad33

bin/basalt serve --config basalt_config.json        # 配置见第 2 节
</code></pre>
<p dir="auto">请求示例(注意要带 <code>model</code><img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/1f61e.png?v=3c59dda5525" class="not-responsive emoji emoji-android emoji--disappointed" style="height:1.4em;width:auto;vertical-align:middle" title="):" alt="😞" /></p>
<pre><code class="language-sh">curl http://127.0.0.1:8080/v1/chat/completions -H 'Content-Type: application/json' \
  -d '{"model":"qwen3.8-flash-next-nvfp4-dq6k","messages":[{"role":"user","content":"你好"}],"max_tokens":200}'
</code></pre>
<p dir="auto">读取任意包的构成(不用下载整个文件):用 HTTP Range 取文件开头 64 KiB,按 <code>FileHeader</code>(64 字节:魔数 8、版本 4、段数 4、文件大小 8、保留 40)加每段 128 字节条目(名字 64、偏移 8、大小 8、SHA256 32、保留 16)解析;<code>meta</code> 段是 JSON,<code>tensors</code> 里有每个张量的类型和字节数。</p>
<h2>9. 想请教的</h2>
<ol>
<li>有人在 16 GB 显卡上对比过 DQ6_K 和 <code>UD-IQ4_XS</code>/<code>UD-IQ3_XXS</code> 的速度吗?我只测了 DQ6_K。</li>
<li>Basalt 长上下文下生成速度从 150 降到 116 tok/s,Strata 同条件下基本是平的,有人知道原因吗?(我猜与专家缓存命中率和 KV 流式有关,<strong>没有验证</strong>)</li>
<li>引擎在长输出请求上报的 <code>predicted_per_second</code> 不一致,是已知问题吗?</li>
</ol>
]]></description><link>https://lcz.me/topic/3036</link><generator>RSS for Node</generator><lastBuildDate>Thu, 19 Nov 2026 00:44:33 GMT</lastBuildDate><atom:link href="https://lcz.me/topic/3036.rss" rel="self" type="application/rss+xml"/><pubDate>Fri, 13 Nov 2026 12:27:34 GMT</pubDate><ttl>60</ttl><item><title><![CDATA[Reply to RTX 5080 16GB 单卡:Basalt v0.3.3 + Qwen3.8-Flash-Next NVFP4-DQ6_K 实测(192K 上下文) on Wed, 18 Nov 2026 12:27:16 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/holy-wen" aria-label="Profile: Holy-Wen">@<bdi>Holy-Wen</bdi></a></p>
<p dir="auto">"route-tail-skip" 要看程式碼有沒有寫反，你可以試試，速度快(會變笨)<br />
"conversation-cache-slots":  也會影響速度!!</p>
<p dir="auto">這兩個參數，我覺得調優後，比較明顯的差別，但有依照我的電腦硬體重新編譯過，所以要試試!!</p>
]]></description><link>https://lcz.me/post/34396</link><guid isPermaLink="true">https://lcz.me/post/34396</guid><dc:creator><![CDATA[YDM]]></dc:creator><pubDate>Wed, 18 Nov 2026 12:27:16 GMT</pubDate></item><item><title><![CDATA[Reply to RTX 5080 16GB 单卡:Basalt v0.3.3 + Qwen3.8-Flash-Next NVFP4-DQ6_K 实测(192K 上下文) on Wed, 18 Nov 2026 10:11:39 GMT]]></title><description><![CDATA[<p dir="auto">感觉basalt的专用格式可能有点问题，我测了nvfp4 和iq4s的长编程任务，basalt上都会错，而且nvfp4固定位置错，就换回strata了，不过basalt 确实快，5070TI 16g速度prefill4800，decode7-80，内存机制不够starta稳。</p>
]]></description><link>https://lcz.me/post/34384</link><guid isPermaLink="true">https://lcz.me/post/34384</guid><dc:creator><![CDATA[freeman gemmy]]></dc:creator><pubDate>Wed, 18 Nov 2026 10:11:39 GMT</pubDate></item><item><title><![CDATA[Reply to RTX 5080 16GB 单卡:Basalt v0.3.3 + Qwen3.8-Flash-Next NVFP4-DQ6_K 实测(192K 上下文) on Wed, 18 Nov 2026 09:46:21 GMT]]></title><description><![CDATA[<p dir="auto">感謝分享 ！ 讚一個</p>
<p dir="auto">RTX 50系的溢價 除了ComfyUI之外, 就是NVFP4了</p>
]]></description><link>https://lcz.me/post/34382</link><guid isPermaLink="true">https://lcz.me/post/34382</guid><dc:creator><![CDATA[kos or]]></dc:creator><pubDate>Wed, 18 Nov 2026 09:46:21 GMT</pubDate></item><item><title><![CDATA[Reply to RTX 5080 16GB 单卡:Basalt v0.3.3 + Qwen3.8-Flash-Next NVFP4-DQ6_K 实测(192K 上下文) on Sat, 14 Nov 2026 01:33:49 GMT]]></title><description><![CDATA[<h3>5.3 补测:<code>route-prior</code> 与 <code>route-tail-skip</code>(会改变输出的选项)</h3>
<p dir="auto">参考帖子(Basalt 0.3.2、RTX 5060 Ti)里提速最多的就是这两个选项。Basalt 文档把它们归为"有损":<code>route-prior LAMBDA</code> 给显存里已有专家的路由 logit 加 LAMBDA(偏向已缓存专家),<code>route-tail-skip R</code> 在显存里没有的专家排名不高于 R 时直接跳过。每次只改 <code>engine</code> 里的这几项,其余同第 2 节,每个变体重启一次引擎,并确认参数确实出现在引擎进程命令行里(启动日志同时有 <code>lossy flags enabled</code> 警告)。基线是前一天同配置的结果,<strong>不是同一次开机测的</strong>。</p>
<pre><code class="language-json">"engine": { "resident-experts": true, "route-prior": 1.5, "route-tail-skip": 7 }
</code></pre>
<p dir="auto"><strong>编程任务 A</strong>(输出约 2 万多 token,速度用"输出 token ÷ 总耗时",每个变体 4 次):</p>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>变体</th>
<th>通过</th>
<th>生成速度 tok/s</th>
<th>相对基线</th>
</tr>
</thead>
<tbody>
<tr>
<td>基线</td>
<td>4/4</td>
<td>129–134</td>
<td>–</td>
</tr>
<tr>
<td><code>route-tail-skip 7</code></td>
<td>3/4(1 次 2 个测试失败)</td>
<td>161–173</td>
<td>+28%</td>
</tr>
<tr>
<td><code>route-prior 1.5</code></td>
<td>4/4</td>
<td>256–273</td>
<td><strong>+100%</strong></td>
</tr>
<tr>
<td>两个都开</td>
<td>4/4</td>
<td>244–270</td>
<td>+96%</td>
</tr>
</tbody>
</table>
<p dir="auto"><strong>长上下文检索</strong>(提示处理 / 生成 tok/s,暗号全部找回):</p>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th style="text-align:right">输入</th>
<th>基线</th>
<th>tail-skip 7</th>
<th>prior 1.5</th>
<th>两个都开</th>
</tr>
</thead>
<tbody>
<tr>
<td style="text-align:right">8K</td>
<td>4401 / 132</td>
<td>4476 / 179</td>
<td>4472 / 277</td>
<td>4463 / 276</td>
</tr>
<tr>
<td style="text-align:right">32K</td>
<td>5476 / 149</td>
<td>5555 / 182</td>
<td>5534 / 273</td>
<td>5538 / 285</td>
</tr>
<tr>
<td style="text-align:right">65K</td>
<td>5974 / 137</td>
<td>5972 / 184</td>
<td>5977 / 264</td>
<td>5967 / 288</td>
</tr>
<tr>
<td style="text-align:right">133K</td>
<td>5708 / 115</td>
<td>5726 / 165</td>
<td>5712 / 239</td>
<td>5703 / 240</td>
</tr>
<tr>
<td style="text-align:right">188K</td>
<td>5489 / 118</td>
<td>5499 / 148</td>
<td>5491 / 225</td>
<td>5485 / 236</td>
</tr>
</tbody>
</table>
<p dir="auto"><strong>编程任务 B / C</strong>(生成 tok/s,全部 11/11 通过):基线 112 / 107;tail-skip 136 / 138;prior 254 / 234;两个都开 262 / 245。</p>
<p dir="auto"><strong>专家缓存命中率</strong>(服务端日志里各请求 <code>hit=</code> 的中位数):基线 64%,tail-skip 72%,<strong>prior 97%</strong>,两个都开 97%。内存/显存占用与基线一致(约 73 GB / 15.2 GiB)。</p>
<p dir="auto">要点:</p>
<ul>
<li><strong><code>route-prior 1.5</code> 是主要增益</strong>,生成速度约翻倍,预填充不变。<code>route-tail-skip 7</code> 单开约 +28%,和 prior 一起开时没有额外收益。这与帖子的趋势一致(帖子里 23 → 27.5 → 55 tok/s)。</li>
<li>命中率从 64% 升到 97%,很可能是提速的原因;同时它也解释了 5.1 里基线"长上下文下生成变慢"(命中率随上下文下降)被抹平了大半。这是相关性,<strong>我没有单独验证</strong>。</li>
<li><strong>质量代价我没有测出明确结论</strong>。我只有任务 A 的通过次数(prior 4/4、两个都开 4/4、tail-skip 3/4),样本太小,不能说明差异;tail-skip 那次失败是模型写的测试有问题还是缓存实现有问题,我没有逐个检查。没有跑困惑度/KLD。帖子作者说 <code>route-prior</code> 取 1.5 是安全点、取 16 会严重退化,文档也提供了质量门,<strong>这里均未复现</strong>。</li>
<li>这两个选项会改变输出(同一提示的答案可能不同),不适合需要可复现结果的场合。</li>
</ul>
]]></description><link>https://lcz.me/post/33161</link><guid isPermaLink="true">https://lcz.me/post/33161</guid><dc:creator><![CDATA[Holy Wen]]></dc:creator><pubDate>Sat, 14 Nov 2026 01:33:49 GMT</pubDate></item><item><title><![CDATA[Reply to RTX 5080 16GB 单卡:Basalt v0.3.3 + Qwen3.8-Flash-Next NVFP4-DQ6_K 实测(192K 上下文) on Fri, 13 Nov 2026 13:51:37 GMT]]></title><description><![CDATA[<p dir="auto"><img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/2705.png?v=3c59dda5525" class="not-responsive emoji emoji-android emoji--white_check_mark" style="height:1.4em;width:auto;vertical-align:middle" title="✅" alt="✅" /> 版主审定：本帖设为<strong>优秀</strong>，作者 <strong>+3 积分</strong>奖励，继续加油！</p>
<blockquote>
<p dir="auto">奖励凭证：优秀 +3 分 · 编号 e3036-1170-1</p>
</blockquote>
]]></description><link>https://lcz.me/post/33067</link><guid isPermaLink="true">https://lcz.me/post/33067</guid><dc:creator><![CDATA[Xiaote]]></dc:creator><pubDate>Fri, 13 Nov 2026 13:51:37 GMT</pubDate></item></channel></rss>