<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0"><channel><title><![CDATA[【首测】RX 6750 GRE 10G（gfx1031/RDNA2）跑 Qwen3.8-27B：免 ROCm Vulkan 全显存 + 投机解码翻车实录]]></title><description><![CDATA[<h2>TL;DR</h2>
<ol>
<li><strong>gfx1031 免补丁</strong>：llama.cpp 主线 Vulkan 构建（b11146）直接点亮，不需要 ollama-for-amd 换库，不需要 HSA 伪装</li>
<li><strong>IQ2_XS 全显存</strong>：GSQ-RCO 2.31bpw（7.83GiB）塞进 10G 显存，pp512 <strong>130.7 t/s</strong> / tg128 <strong>14.4 t/s</strong>，服务器实跑 9.7-9.8 t/s</li>
<li><strong>128K 上下文无衰减</strong>：KV q8_0 塞下 128K（fit 警告但能跑），生成速度和 16K 完全一致</li>
<li><strong>投机解码翻车实录</strong>：draft-mtp 只有 <strong>+12%</strong>（接受率 76-94%），ngram-map-k4v <strong>负收益</strong>（-7%）——RDNA2 没有 WMMA，投机验证开销吃不消，<strong>和 RDNA3 的 +53% 完全相反</strong>，老卡用户请直接关投机</li>
<li><strong>KVMem 无缘</strong>：目前是 HIP fork 专用，主线 Vulkan 构建没有，RDNA2 用户暂时用不了</li>
<li><strong>必挂 froggeric/Qwen-Fixed-Chat-Templates v22</strong>：官方模板 OpenAI 字符串工具参数直接 TypeError、enable_thinking=false 崩溃——接 DSH/Cline 前必须换</li>
</ol>
<h2>硬件</h2>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>项</th>
<th>配置</th>
</tr>
</thead>
<tbody>
<tr>
<td>CPU</td>
<td>AMD Ryzen 7 5700X（8C16T）</td>
</tr>
<tr>
<td>内存</td>
<td>32GB DDR4-3200 双通道</td>
</tr>
<tr>
<td>显卡</td>
<td>RX 6750 GRE 10G（gfx1031 / RDNA2 / 320GB/s）</td>
</tr>
<tr>
<td>系统</td>
<td>Windows 11 专业版</td>
</tr>
<tr>
<td>引擎</td>
<td>llama.cpp b11146 官方 Vulkan 构建（vulkan-x64.zip）</td>
</tr>
</tbody>
</table>
<h2>模型与加载参数</h2>
<pre><code>模型: Qwen3.8-27B GSQ-RCO IQ2_XS（2.3125 bpw，7.83 GiB，ISTA-DASLab）
      对照组: huihui-ai 去审查版 Swift-1.5-GSQ-RCO-IQ2_XS（同量化，速度无差异）
llama-bench: -ngl 99 -fa 1 -ctk q8_0 -ctv q8_0
服务器:      -c 16384/131072 -np 1 --jinja
</code></pre>
<h2>实测数据</h2>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>测试</th>
<th>结果</th>
</tr>
</thead>
<tbody>
<tr>
<td>llama-bench pp512</td>
<td>130.73 ± 0.25 t/s</td>
</tr>
<tr>
<td>llama-bench tg128</td>
<td>14.40 ± 0.01 t/s</td>
</tr>
<tr>
<td>服务器实跑生成 @16K</td>
<td>9.8 t/s</td>
</tr>
<tr>
<td>服务器实跑生成 @128K</td>
<td>9.7 t/s（<strong>无衰减</strong>）</td>
</tr>
<tr>
<td>服务器 prompt 处理 @128K</td>
<td>29.7 t/s</td>
</tr>
</tbody>
</table>
<h2>投机解码 A/B（同题实测）</h2>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>方案</th>
<th>草稿接受率</th>
<th>实际生成速度</th>
<th>结论</th>
</tr>
</thead>
<tbody>
<tr>
<td>裸跑</td>
<td>—</td>
<td>9.8 t/s</td>
<td>基线</td>
</tr>
<tr>
<td>--spec-type ngram-map-k4v</td>
<td>46-54%</td>
<td>9.1 t/s</td>
<td><strong>负收益</strong></td>
</tr>
<tr>
<td>--spec-type draft-mtp（MTP文件）</td>
<td>76-94%</td>
<td>10.6-11.0 t/s</td>
<td><strong>+12%</strong></td>
</tr>
</tbody>
</table>
<p dir="auto">分析：RDNA2 没有 WMMA，投机验证的逐 token 成本远高于 RDNA3。7900XTX 大佬们实测 ngram +53% 的参数，搬到老卡上直接反转。draft-mtp 靠 94% 的高接受率勉强保住正收益，但别指望 RDNA3 那种翻倍。</p>
<h2>对照参考（同级别卡）</h2>
<ul>
<li>RTX 3080 10G：Qwen3.6-27B Q4_K_M + MTP = 32 t/s @ 65K（CUDA i-quant kernel 优势）</li>
<li>5700X 同款 CPU + 7900XTX 24G：IQ3_S 128K KV int8 = 稳定 30 t/s（坛友实测）</li>
<li>本卡带宽理论上限：320GB/s ÷ 8.4GB ≈ 38 t/s，实际只吃到 38%——瓶颈在 Vulkan 的 IQ2 反量化 kernel 走 ALU</li>
</ul>
<h2>给同卡兄弟的操作清单</h2>
<ol>
<li>官方 Vulkan zip 解压即用，显卡零配置</li>
<li>模型选 GSQ-RCO IQ2_XS（7.83G 全显存），<strong>别碰 Q4_0</strong>（Qwen3.8 系思考死循环，坛友已踩）</li>
<li>必换 froggeric v22 聊天模板</li>
<li>采样参数用官方表：思考 temp 1.0/top_p 0.95/top_k 20；Instruct temp 0.7/top_p 0.80/presence 1.5</li>
<li>Agent 用途（DSH/Cline）：显式带 temperature，投机只开 draft-mtp，工具调用密集段关掉</li>
<li>服务器一定加 <code>-np 1</code>：默认 4 槽会撑爆 10G 显存导致部分层回退 CPU（速度直接腰斩再腰斩）</li>
</ol>
<h2>遗留问题</h2>
<ul>
<li>Vulkan 的 IQ2 kernel 效率（38% 带宽利用率）啥时候能优化到 CUDA 水平</li>
<li>KVMem 什么时候能进主线支持 Vulkan</li>
<li>等 Qwen3.8 出 8-14B 档，老卡用户能吃到全量化档位</li>
</ul>
<p dir="auto">（数据均为本机实测，环境如上，欢迎同卡玩家复现对拍）</p>
<p dir="auto">-- 6750 GRE 开荒首发，数据无修饰</p>
]]></description><link>https://lcz.me/topic/2118</link><generator>RSS for Node</generator><lastBuildDate>Sun, 25 Oct 2026 01:42:55 GMT</lastBuildDate><atom:link href="https://lcz.me/topic/2118.rss" rel="self" type="application/rss+xml"/><pubDate>Mon, 05 Oct 2026 12:44:13 GMT</pubDate><ttl>60</ttl><item><title><![CDATA[Reply to 【首测】RX 6750 GRE 10G（gfx1031/RDNA2）跑 Qwen3.8-27B：免 ROCm Vulkan 全显存 + 投机解码翻车实录 on Tue, 06 Oct 2026 15:31:44 GMT]]></title><description><![CDATA[<p dir="auto">加油！！！！！！</p>
]]></description><link>https://lcz.me/post/22882</link><guid isPermaLink="true">https://lcz.me/post/22882</guid><dc:creator><![CDATA[朱晓宇]]></dc:creator><pubDate>Tue, 06 Oct 2026 15:31:44 GMT</pubDate></item><item><title><![CDATA[Reply to 【首测】RX 6750 GRE 10G（gfx1031/RDNA2）跑 Qwen3.8-27B：免 ROCm Vulkan 全显存 + 投机解码翻车实录 on Tue, 06 Oct 2026 10:16:35 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/%E6%9C%B1%E6%99%93%E5%AE%87" aria-label="Profile: 朱晓宇">@<bdi>朱晓宇</bdi></a><br />
下一步再挑战一下strata，32G刚好能跑coder<br />
<img src="https://upload.lcz.me/uploads/7e440bbc-a55c-46a8-a840-136f8603a9ae.jpeg" alt="image" class="img-markdown  img-fluid" /></p>
]]></description><link>https://lcz.me/post/22809</link><guid isPermaLink="true">https://lcz.me/post/22809</guid><dc:creator><![CDATA[perter]]></dc:creator><pubDate>Tue, 06 Oct 2026 10:16:35 GMT</pubDate></item><item><title><![CDATA[Reply to 【首测】RX 6750 GRE 10G（gfx1031/RDNA2）跑 Qwen3.8-27B：免 ROCm Vulkan 全显存 + 投机解码翻车实录 on Tue, 06 Oct 2026 10:01:06 GMT]]></title><description><![CDATA[<p dir="auto">我擦，这卡都能玩了？看来最近门槛确实大幅降低了。</p>
]]></description><link>https://lcz.me/post/22807</link><guid isPermaLink="true">https://lcz.me/post/22807</guid><dc:creator><![CDATA[terry]]></dc:creator><pubDate>Tue, 06 Oct 2026 10:01:06 GMT</pubDate></item></channel></rss>