<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0"><channel><title><![CDATA[3090坛友进来，过年了【解锁F16算力 加快TTFT】！]]></title><description><![CDATA[<p dir="auto"><img src="https://upload.lcz.me/uploads/19a80750-f4fb-48ac-94f5-0f1a3d101be0.jpeg" alt="{057977A0-C51D-4023-8F3D-13085E8D39E9}.jpeg" class="img-markdown  img-fluid" /></p>
<p dir="auto">如果你用的是Ubuntu 22.04 / kernel 5.15，设置说明：</p>
<p dir="auto">该模块为6.16+编写。5.15版本需要两个小修复：为Linux/Aperture.h做一个存根，以及在检查前把显卡切换到D0（GPU解锁问题#3中的修复）。</p>
<p dir="auto">initramfs-tools在加载模块前运行了udev，所以Nvidia先抓卡，模块什么都不做。我改用初始化顶脚本加载它，这样它总是先于udev运行。</p>
<p dir="auto">Sudo重启不够，显卡保留电源。关机，再开机。请查看journalctl -k -b |Grep gpu_unlock，你希望每张卡牌只“解锁一次”。<br />
<a href="https://github.com/Zagitta/gpu-unlock" rel="nofollow ugc">https://github.com/Zagitta/gpu-unlock</a></p>
<p dir="auto"><a href="https://github.com/noonghunna/club-3090/issues/1755" rel="nofollow ugc">https://github.com/noonghunna/club-3090/issues/1755</a></p>
<p dir="auto"><img src="https://upload.lcz.me/uploads/ff6c97eb-09b0-4784-a86c-a11905e57fcf.jpeg" alt="image.jpeg" class="img-markdown  img-fluid" /></p>
<p dir="auto">预填充快了10%-15% 左右。 本地AI爆发的红利，还在增加！</p>
]]></description><link>https://lcz.me/topic/2488</link><generator>RSS for Node</generator><lastBuildDate>Fri, 23 Oct 2026 02:54:08 GMT</lastBuildDate><atom:link href="https://lcz.me/topic/2488.rss" rel="self" type="application/rss+xml"/><pubDate>Wed, 21 Oct 2026 15:40:19 GMT</pubDate><ttl>60</ttl><item><title><![CDATA[Reply to 3090坛友进来，过年了【解锁F16算力 加快TTFT】！ on Fri, 23 Oct 2026 01:54:20 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/prio" aria-label="Profile: Prio">@<bdi>Prio</bdi></a> 你在autodl 西北区能看到3090 48g的机器，4090 48g也是最开始在这个平台上架的，后来才流出来的vbios，只要有早晚就会流出来</p>
]]></description><link>https://lcz.me/post/26875</link><guid isPermaLink="true">https://lcz.me/post/26875</guid><dc:creator><![CDATA[tutu]]></dc:creator><pubDate>Fri, 23 Oct 2026 01:54:20 GMT</pubDate></item><item><title><![CDATA[Reply to 3090坛友进来，过年了【解锁F16算力 加快TTFT】！ on Thu, 22 Oct 2026 21:13:25 GMT]]></title><description><![CDATA[<p dir="auto">Prefill 确实快了约10%</p>
]]></description><link>https://lcz.me/post/26824</link><guid isPermaLink="true">https://lcz.me/post/26824</guid><dc:creator><![CDATA[Hao Chen]]></dc:creator><pubDate>Thu, 22 Oct 2026 21:13:25 GMT</pubDate></item><item><title><![CDATA[Reply to 3090坛友进来，过年了【解锁F16算力 加快TTFT】！ on Thu, 22 Oct 2026 19:14:22 GMT]]></title><description><![CDATA[<p dir="auto">牛逼马上 搞起来</p>
]]></description><link>https://lcz.me/post/26821</link><guid isPermaLink="true">https://lcz.me/post/26821</guid><dc:creator><![CDATA[Hao Chen]]></dc:creator><pubDate>Thu, 22 Oct 2026 19:14:22 GMT</pubDate></item><item><title><![CDATA[Reply to 3090坛友进来，过年了【解锁F16算力 加快TTFT】！ on Thu, 22 Oct 2026 17:52:58 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/starryskyknight" aria-label="Profile: starryskyknight">@<bdi>starryskyknight</bdi></a> 3080 20G只是加了内存，其他的都一样，没啥区别。理论数据是一回事，然后跑出来的实际成绩又是另一回事。其实总体上就在15%左右。</p>
]]></description><link>https://lcz.me/post/26818</link><guid isPermaLink="true">https://lcz.me/post/26818</guid><dc:creator><![CDATA[terry]]></dc:creator><pubDate>Thu, 22 Oct 2026 17:52:58 GMT</pubDate></item><item><title><![CDATA[Reply to 3090坛友进来，过年了【解锁F16算力 加快TTFT】！ on Thu, 22 Oct 2026 17:27:22 GMT]]></title><description><![CDATA[<p dir="auto">感谢这串，补 4/4 解锁前后的数据。先说清楚：只有 3080 是同一张卡、同一台机器的真 A/B；双 3090 与单 3090 的解锁前数据不是我们自己的，我只拿本帖的 locked 基准做对照，不假装是同卡 before/after。</p>
<h3>1. RTX 3080 10GB：真·解锁前后（同卡同机）</h3>
<p dir="auto"><strong>卡</strong>：EVGA RTX 3080 FTW3 ULTRA 10GB（GA102，PCI <code>0000:04:00.0</code>）<br />
<strong>条件</strong>：280W、PyTorch 2.14.1+cu130、8192³ matmul、3 warmup + 10 iterations</p>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>精度</th>
<th style="text-align:right">解锁前</th>
<th style="text-align:right">解锁后</th>
<th style="text-align:right">差异</th>
</tr>
</thead>
<tbody>
<tr>
<td>FP16</td>
<td style="text-align:right">60.91</td>
<td style="text-align:right"><strong>107.60</strong></td>
<td style="text-align:right"><strong>+76.6%</strong></td>
</tr>
<tr>
<td>BF16</td>
<td style="text-align:right">64.26</td>
<td style="text-align:right"><strong>107.82</strong></td>
<td style="text-align:right"><strong>+67.8%</strong></td>
</tr>
<tr>
<td>TF32</td>
<td style="text-align:right">31.51</td>
<td style="text-align:right"><strong>52.60</strong></td>
<td style="text-align:right"><strong>+66.9%</strong></td>
</tr>
</tbody>
</table>
<p dir="auto">journal 确认：<code>0000:04:00.0: gpu_unlock: unlocked</code></p>
<p dir="auto">解锁后 BF16 107.82，已经接近 3090 单卡解锁后的 108.48；但 VRAM 只有 10GB。</p>
<p dir="auto"><strong>这是目前没人回报过的点</strong>：官方 README 只验证过 RTX 3090，3080 是未官方验证的 GA102 路径。我这张 EVGA FTW3 成功，不代表所有 3080 板卡；长期要看 Xid／掉卡。</p>
<h3>2. 双 3090 + NVLink：解锁后</h3>
<p dir="auto"><strong>卡</strong>：2× MSI RTX 3090 SUPRIM X 24G（<code>1462:3882</code>）<br />
<strong>NVLink</strong>：4 links × 14.062 GB/s = 56.25 GB/s 单向、112.5 GB/s 双向<br />
<strong>条件</strong>：250W×2、8192³ matmul</p>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>GPU</th>
<th style="text-align:right">FP16</th>
<th style="text-align:right">BF16</th>
<th style="text-align:right">TF32</th>
</tr>
</thead>
<tbody>
<tr>
<td>GPU0</td>
<td style="text-align:right">68.19</td>
<td style="text-align:right">75.79</td>
<td style="text-align:right">48.26</td>
</tr>
<tr>
<td>GPU1</td>
<td style="text-align:right">75.02</td>
<td style="text-align:right">76.55</td>
<td style="text-align:right">50.49</td>
</tr>
</tbody>
</table>
<p dir="auto">对照本帖 2488 的 locked 基准（跨机器参考，不是我们自己的 before）：</p>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>项目</th>
<th style="text-align:right">2488 locked</th>
<th style="text-align:right">我们解锁后 GPU0</th>
<th style="text-align:right">差异</th>
</tr>
</thead>
<tbody>
<tr>
<td>FP16</td>
<td style="text-align:right">53.8</td>
<td style="text-align:right">68.19</td>
<td style="text-align:right">+26.7%</td>
</tr>
<tr>
<td>BF16</td>
<td style="text-align:right">56.5</td>
<td style="text-align:right">75.79</td>
<td style="text-align:right">+34.1%</td>
</tr>
<tr>
<td>TF32</td>
<td style="text-align:right">32.2</td>
<td style="text-align:right">48.26</td>
<td style="text-align:right">+49.9%</td>
</tr>
</tbody>
</table>
<p dir="auto">我们的 GPU0 甚至略高于本帖 unlocked 参考（67.8／72.6／41.5）。</p>
<h3>3. 单张 3090：解锁后（解锁前未在我们机器上量）</h3>
<p dir="auto"><strong>卡</strong>：ASUS TUF RTX 3090 24G（<code>1043:87b3</code>）<br />
<strong>条件</strong>：350W、8192³ matmul</p>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>精度</th>
<th style="text-align:right">解锁后</th>
</tr>
</thead>
<tbody>
<tr>
<td>FP16</td>
<td style="text-align:right">108.48</td>
</tr>
<tr>
<td>BF16</td>
<td style="text-align:right">116.98</td>
</tr>
<tr>
<td>TF32</td>
<td style="text-align:right">61.65</td>
</tr>
</tbody>
</table>
<p dir="auto">我们没有在解锁前跑同一张卡的 baseline，所以不编造 before/after；只给解锁后实测。</p>
<h3>4. 补充：3080 20GB 魔改卡，CP 值可能更高</h3>
<p dir="auto">这楼里没人提 <strong>3080 20GB 魔改卡</strong>，但它其实是 3080 解锁的另一个甜点：</p>
<ul>
<li>同一颗 <strong>GA102</strong>、<strong>8704 CUDA</strong>、<strong>320-bit</strong>，显存从 10GB 翻倍到 <strong>20GB GDDR6X</strong>。</li>
<li>二手／魔改市场价约 <strong>¥2,600–3,200</strong>（约 US$370–450）；3090 24GB 约 <strong>¥5,000–6,000</strong>，价差接近一倍。</li>
<li>如果 <code>gpu-unlock</code> 对 20GB 版同样有效，理论上能拿到和 10GB 版接近的解锁收益（FP16 +76.6%、BF16 +67.8%），同时 <strong>20GB 对 14B／30B AWQ、长上下文 KV cache 更实用</strong>。</li>
<li>这样它的 CP 值会比 3080 10GB 高很多：同样的算力、多一倍 VRAM，价格只有 3090 的 40–50%。</li>
</ul>
<p dir="auto"><strong>但这是未验证的推论，不是我们实测</strong>：</p>
<ul>
<li>20GB 魔改卡是灰色市场，无原厂保固，VBIOS、散热、blower 设计都可能与零售 3080 不同。</li>
<li><code>gpu-unlock</code> 官方只验证过 RTX 3090；20GB 版即使同为 GA102，也不保证走同一条 firmware 路径。</li>
<li>要买的话，先确认：能 cold boot、<code>journalctl -b | grep gpu_unlock</code> 出现 <code>0000:xx:00.0: gpu_unlock: unlocked</code>、跑 8192³ matmul 与 10GB 版对比、再看 Xid／掉卡。</li>
<li>若这些过不了，20GB 的「大显存」不值得拿稳定度去换。</li>
</ul>
<h3>5. 一句话总结</h3>
<ul>
<li><strong>3080 10GB</strong>：真 A/B，FP16 <strong>+76.6%</strong>、BF16 <strong>+67.8%</strong>、TF32 <strong>+66.9%</strong>。</li>
<li><strong>双 3090 + NVLink</strong>：解锁后 GPU0 68.19／75.79／48.26；对照本帖 locked 高 26–50%，但属跨机对照。</li>
<li><strong>单 3090</strong>：解锁后 108.48／116.98／61.65；无自家 before。</li>
<li><strong>3080 20GB 魔改卡</strong>：若 gpu_unlock 同样有效，CP 值理论上优于 10GB 版与 3090；但属未验证路径，先验卡再买。</li>
</ul>
<p dir="auto">给要试 3080 的人：官方未验证、要 cold boot、要看 <code>journalctl -b | grep gpu_unlock</code>，长期注意 Xid／掉卡。</p>
]]></description><link>https://lcz.me/post/26815</link><guid isPermaLink="true">https://lcz.me/post/26815</guid><dc:creator><![CDATA[starryskyknight]]></dc:creator><pubDate>Thu, 22 Oct 2026 17:27:22 GMT</pubDate></item><item><title><![CDATA[Reply to 3090坛友进来，过年了【解锁F16算力 加快TTFT】！ on Thu, 22 Oct 2026 15:44:46 GMT]]></title><description><![CDATA[<p dir="auto">7000t/s 很牛 3090ti 值得了</p>
]]></description><link>https://lcz.me/post/26797</link><guid isPermaLink="true">https://lcz.me/post/26797</guid><dc:creator><![CDATA[applejuice]]></dc:creator><pubDate>Thu, 22 Oct 2026 15:44:46 GMT</pubDate></item><item><title><![CDATA[Reply to 3090坛友进来，过年了【解锁F16算力 加快TTFT】！ on Thu, 22 Oct 2026 15:34:05 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/tutu" aria-label="Profile: tutu">@<bdi>tutu</bdi></a>  没发现目前可以改48g啊，3090还没官方流出来的bios版本支持48gb的显存的吧，焊上去系统也读不出48g只能有24g</p>
]]></description><link>https://lcz.me/post/26796</link><guid isPermaLink="true">https://lcz.me/post/26796</guid><dc:creator><![CDATA[Prio]]></dc:creator><pubDate>Thu, 22 Oct 2026 15:34:05 GMT</pubDate></item><item><title><![CDATA[Reply to 3090坛友进来，过年了【解锁F16算力 加快TTFT】！ on Thu, 22 Oct 2026 14:00:05 GMT]]></title><description><![CDATA[<p dir="auto"><img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/1f525.png?v=ec85ec55bc1" class="not-responsive emoji emoji-android emoji--fire" style="height:1.4em;width:auto;vertical-align:middle" title="🔥" alt="🔥" /> 本帖参与讨论人数已达 <strong>10+</strong>，入选<strong>热议</strong>，作者 <strong>+3 积分</strong>奖励，感谢分享！</p>
<blockquote>
<p dir="auto">奖励凭证：热议 +3 分 · 编号 h2488-1233-1（系统自动发放，显示稍有延迟）</p>
</blockquote>
]]></description><link>https://lcz.me/post/26764</link><guid isPermaLink="true">https://lcz.me/post/26764</guid><dc:creator><![CDATA[Xiaote]]></dc:creator><pubDate>Thu, 22 Oct 2026 14:00:05 GMT</pubDate></item><item><title><![CDATA[Reply to 3090坛友进来，过年了【解锁F16算力 加快TTFT】！ on Thu, 22 Oct 2026 13:58:08 GMT]]></title><description><![CDATA[<p dir="auto">很好，感谢楼主，已解锁，双卡3090跑27b tp=2的prefill提升40%+</p>
]]></description><link>https://lcz.me/post/26763</link><guid isPermaLink="true">https://lcz.me/post/26763</guid><dc:creator><![CDATA[aaron17 jiang]]></dc:creator><pubDate>Thu, 22 Oct 2026 13:58:08 GMT</pubDate></item><item><title><![CDATA[Reply to 3090坛友进来，过年了【解锁F16算力 加快TTFT】！ on Thu, 22 Oct 2026 13:03:38 GMT]]></title><description><![CDATA[<p dir="auto">其实 3090 真正牛逼的是可以改 48g ，另外 3090 的 int8 tensor 算力没砍，博主的数据在 int8 上有误</p>
<p dir="auto">精度 	RTX 3090 	RTX A6000 	比值<br />
INT8 (dense) 	142 TOPS 	308 TOPS 	2.17x  实际 3090int8 算力是 284<br />
BF16 	71 TFLOPS 	154.7 TFLOPS 	2.18x</p>
<p dir="auto">本人用 3090ti nvlink 使用 sglang 跑 qwen3.8-27b w8a8-int8 prefill 短上下文最快 7000t/s ，20k 上下文也能做到 5000 多 t/s</p>
]]></description><link>https://lcz.me/post/26741</link><guid isPermaLink="true">https://lcz.me/post/26741</guid><dc:creator><![CDATA[tutu]]></dc:creator><pubDate>Thu, 22 Oct 2026 13:03:38 GMT</pubDate></item><item><title><![CDATA[Reply to 3090坛友进来，过年了【解锁F16算力 加快TTFT】！ on Thu, 22 Oct 2026 08:28:24 GMT]]></title><description><![CDATA[<p dir="auto">这以后3090涨价涨得不得颐指气使，理直气壮？</p>
]]></description><link>https://lcz.me/post/26717</link><guid isPermaLink="true">https://lcz.me/post/26717</guid><dc:creator><![CDATA[xiongjie gao]]></dc:creator><pubDate>Thu, 22 Oct 2026 08:28:24 GMT</pubDate></item><item><title><![CDATA[Reply to 3090坛友进来，过年了【解锁F16算力 加快TTFT】！ on Thu, 22 Oct 2026 05:26:20 GMT]]></title><description><![CDATA[<p dir="auto">昨晚我就根据这个帖子的消息水了个视频。</p>
]]></description><link>https://lcz.me/post/26700</link><guid isPermaLink="true">https://lcz.me/post/26700</guid><dc:creator><![CDATA[terry]]></dc:creator><pubDate>Thu, 22 Oct 2026 05:26:20 GMT</pubDate></item><item><title><![CDATA[Reply to 3090坛友进来，过年了【解锁F16算力 加快TTFT】！ on Thu, 22 Oct 2026 03:54:42 GMT]]></title><description><![CDATA[<p dir="auto">你这是用时间换质量啊。。。</p>
]]></description><link>https://lcz.me/post/26668</link><guid isPermaLink="true">https://lcz.me/post/26668</guid><dc:creator><![CDATA[stxpnet]]></dc:creator><pubDate>Thu, 22 Oct 2026 03:54:42 GMT</pubDate></item><item><title><![CDATA[Reply to 3090坛友进来，过年了【解锁F16算力 加快TTFT】！ on Thu, 22 Oct 2026 04:31:39 GMT]]></title><description><![CDATA[<p dir="auto">解锁版 单卡 3090 24G,内存96GB,  我让codex 跑通流程做成skill后,让 dsh + swift-1.5-iq2_xs  循环跑任务 ,所以模型差点关系不大,主要追求速度. 当前 API 健康检查正常：模型 swift-1.5-iq2_xs 已加载，512K 上下文，图像输入已启用。</p>
<ul>
<li>模型文件：/pc8share/Swift-Qwen3.8-Flash-Next-GSQ-RCO-IQ2_XS/</li>
<li>Strata pack：/home/haoniu/Strata-data-iq3_s/packs/swift-iq2_xs</li>
<li>**KV：**未指定量化参数，使用 FP16 默认；KV resident 32,768</li>
<li>**并发：**1 路</li>
<li>**专家缓存：**自动分配；启动日志显示约 15.56 GiB 进入 3090</li>
<li>PLE：--ple-io ram，日志确认 PLE 表已锁入 RAM</li>
<li>**显存预留：**1,024 MiB；启动后日志显示约 800 MiB 空闲</li>
<li>**会话缓存：**上限 10 GiB，2 个槽位；这是上限，不会开机就占满</li>
<li>MTP：--spec 4，--spec-min-p 0.5</li>
<li>**视觉：**已启用，编码器使用 CPU<br />
<img src="https://upload.lcz.me/uploads/246fe700-33f8-4b2f-a885-561992962a36.png" alt="2026-10-22 10 51 24.png" class="img-markdown  img-fluid" /><br />
<img src="https://upload.lcz.me/uploads/74f28f26-b4d6-4560-acae-3ec646a8fca3.png" alt="2026-10-22 10 53 21.png" class="img-markdown  img-fluid" /><br />
<img src="https://upload.lcz.me/uploads/36022935-d83e-4a5b-a232-f061c7f7306c.png" alt="2026-10-22 10 53 46.png" class="img-markdown  img-fluid" /><br />
<img src="https://upload.lcz.me/uploads/f92c1461-d63a-4e4a-bcf5-204bd7f0c6cf.png" alt="2026-10-22 10 54 01.png" class="img-markdown  img-fluid" /></li>
</ul>
]]></description><link>https://lcz.me/post/26647</link><guid isPermaLink="true">https://lcz.me/post/26647</guid><dc:creator><![CDATA[gao Gao]]></dc:creator><pubDate>Thu, 22 Oct 2026 04:31:39 GMT</pubDate></item><item><title><![CDATA[Reply to 3090坛友进来，过年了【解锁F16算力 加快TTFT】！ on Thu, 22 Oct 2026 01:56:09 GMT]]></title><description><![CDATA[<blockquote>
<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/stxpnet" aria-label="Profile: stxpnet">@<bdi>stxpnet</bdi></a> <a href="/post/26564">说</a>:</p>
<p dir="auto">3090 Ti 等在 issue 请求中</p>
</blockquote>
<p dir="auto">那我还得再等等，并且从windows10迁移到ubuntu也是一个巨大的工程~</p>
]]></description><link>https://lcz.me/post/26631</link><guid isPermaLink="true">https://lcz.me/post/26631</guid><dc:creator><![CDATA[joker_chang]]></dc:creator><pubDate>Thu, 22 Oct 2026 01:56:09 GMT</pubDate></item><item><title><![CDATA[Reply to 3090坛友进来，过年了【解锁F16算力 加快TTFT】！ on Thu, 22 Oct 2026 00:51:11 GMT]]></title><description><![CDATA[<p dir="auto">效果挺好的 感觉速度提升不少,具体待测试,值得推荐</p>
]]></description><link>https://lcz.me/post/26615</link><guid isPermaLink="true">https://lcz.me/post/26615</guid><dc:creator><![CDATA[gao Gao]]></dc:creator><pubDate>Thu, 22 Oct 2026 00:51:11 GMT</pubDate></item><item><title><![CDATA[Reply to 3090坛友进来，过年了【解锁F16算力 加快TTFT】！ on Thu, 22 Oct 2026 00:35:03 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/stxpnet" aria-label="Profile: stxpnet">@<bdi>stxpnet</bdi></a> 其实我也不懂 就是因为不懂 所以尽量用大点的模型<br />
这个速度快过用27b 所以我继续用了</p>
]]></description><link>https://lcz.me/post/26611</link><guid isPermaLink="true">https://lcz.me/post/26611</guid><dc:creator><![CDATA[applejuice]]></dc:creator><pubDate>Thu, 22 Oct 2026 00:35:03 GMT</pubDate></item><item><title><![CDATA[Reply to 3090坛友进来，过年了【解锁F16算力 加快TTFT】！ on Thu, 22 Oct 2026 00:03:47 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/applejuice" aria-label="Profile: applejuice">@<bdi>applejuice</bdi></a> 你用QFN3.8 UD Q4 XL，感觉质量有提升么？<br />
我受不了那个速度，已经回到GSQ IQ3_S了， 感觉我目前的场景，使用IQ3_S也足够了。 （还有个原因就是我的软件之前在IQ3_S上面调优过，对这个模型有点过拟合，换了UD Q4 XL，反而质量变差。。。。）</p>
]]></description><link>https://lcz.me/post/26608</link><guid isPermaLink="true">https://lcz.me/post/26608</guid><dc:creator><![CDATA[stxpnet]]></dc:creator><pubDate>Thu, 22 Oct 2026 00:03:47 GMT</pubDate></item><item><title><![CDATA[Reply to 3090坛友进来，过年了【解锁F16算力 加快TTFT】！ on Thu, 22 Oct 2026 00:03:40 GMT]]></title><description><![CDATA[<p dir="auto">解锁思路值得跟，但这类内核模块改的是 SM 的指令与调度路径，验证要严一点：</p>
<ul>
<li>先用同一模型、同一量化、同一 prompt 和 seed，对比解锁前后的逐 token 输出或 loss，别只看 matmul TFLOPS；算力涨了但数值路径变了，对推理是负收益。</li>
<li>250W cap 下 +26% 到 +28%，要确认是解锁了 BF16 吞吐，还是顺带改了频率/电压曲线。跑一轮 24 小时长稳和反复挂起/恢复，看会不会掉卡或 Xid。</li>
<li>驱动和 CUDA 升级可能覆盖或让模块失效，生产机别用；多卡、多进程下也要确认是每张卡都只解锁一次。</li>
<li>你贴的 8192³ matmul 方向对，但还缺真实模型的 prefill/decode 端到端对比，尤其是长上下文下的数值一致性。</li>
</ul>
<p dir="auto">prefill 快 10% 到 15% 如果能在真实模型上复现，对 3090 这批卡确实有价值。</p>
]]></description><link>https://lcz.me/post/26607</link><guid isPermaLink="true">https://lcz.me/post/26607</guid><dc:creator><![CDATA[Xiaote]]></dc:creator><pubDate>Thu, 22 Oct 2026 00:03:40 GMT</pubDate></item><item><title><![CDATA[Reply to 3090坛友进来，过年了【解锁F16算力 加快TTFT】！ on Wed, 21 Oct 2026 18:42:04 GMT]]></title><description><![CDATA[<p dir="auto"><img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/2b50.png?v=ec85ec55bc1" class="not-responsive emoji emoji-android emoji--star" style="height:1.4em;width:auto;vertical-align:middle" title="⭐" alt="⭐" /> 版主审定：本帖设为<strong>精华</strong>，作者 <strong>+5 积分</strong>奖励，希望再接再厉！</p>
<blockquote>
<p dir="auto">奖励凭证：精华 +5 分 · 编号 f2488-1233-1（系统自动发放，显示稍有延迟）</p>
</blockquote>
]]></description><link>https://lcz.me/post/26588</link><guid isPermaLink="true">https://lcz.me/post/26588</guid><dc:creator><![CDATA[Xiaote]]></dc:creator><pubDate>Wed, 21 Oct 2026 18:42:04 GMT</pubDate></item><item><title><![CDATA[Reply to 3090坛友进来，过年了【解锁F16算力 加快TTFT】！ on Wed, 21 Oct 2026 16:54:58 GMT]]></title><description><![CDATA[<p dir="auto">感謝分享 來試試看</p>
]]></description><link>https://lcz.me/post/26576</link><guid isPermaLink="true">https://lcz.me/post/26576</guid><dc:creator><![CDATA[starryskyknight]]></dc:creator><pubDate>Wed, 21 Oct 2026 16:54:58 GMT</pubDate></item><item><title><![CDATA[Reply to 3090坛友进来，过年了【解锁F16算力 加快TTFT】！ on Wed, 21 Oct 2026 16:29:38 GMT]]></title><description><![CDATA[<p dir="auto">来了</p>
<p dir="auto"><strong>Tensor matmul</strong> (torch 2.14 + CUDA 13, 8192³, 250 W cap):</p>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th></th>
<th style="text-align:right">FP16</th>
<th style="text-align:right">BF16</th>
<th style="text-align:right">TF32</th>
</tr>
</thead>
<tbody>
<tr>
<td>GPU0 locked</td>
<td style="text-align:right">53.8 TFLOPS</td>
<td style="text-align:right">56.5</td>
<td style="text-align:right">32.2</td>
</tr>
<tr>
<td>GPU0 unlocked</td>
<td style="text-align:right"><strong>67.8 (+26 %)</strong></td>
<td style="text-align:right"><strong>72.6 (+28 %)</strong></td>
<td style="text-align:right"><strong>41.5 (+29 %)</strong></td>
</tr>
<tr>
<td>GPU1 unlocked</td>
<td style="text-align:right">72.8</td>
<td style="text-align:right">76.5</td>
<td style="text-align:right">44.7</td>
</tr>
</tbody>
</table>
<p dir="auto">没有像github 的50% 那么多，有可能是限功率250w 的原因</p>
<p dir="auto"><strong>Strata</strong> (sergqwer fork 0.1.44.1-nvfp4.2, UD-Q4_K_XL, production config).</p>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th></th>
<th style="text-align:right">Before</th>
<th style="text-align:right">After</th>
<th style="text-align:right">Change</th>
</tr>
</thead>
<tbody>
<tr>
<td>Prefill 19K tokens</td>
<td style="text-align:right">2,277 tok/s</td>
<td style="text-align:right">2,618</td>
<td style="text-align:right"><strong>+15 %</strong></td>
</tr>
<tr>
<td>Prefill 43K</td>
<td style="text-align:right">2,786</td>
<td style="text-align:right">3,227</td>
<td style="text-align:right"><strong>+16 %</strong></td>
</tr>
<tr>
<td>Prefill 89K</td>
<td style="text-align:right">3,126</td>
<td style="text-align:right">3,539</td>
<td style="text-align:right"><strong>+13 %</strong></td>
</tr>
<tr>
<td>Prefill 122K</td>
<td style="text-align:right">3,189</td>
<td style="text-align:right">3,613</td>
<td style="text-align:right"><strong>+13 %</strong></td>
</tr>
<tr>
<td>Decode zh prose / zh chat / EN / code</td>
<td style="text-align:right">94.5 / 100.3 / 97.6 / 161.2</td>
<td style="text-align:right">96.4 / 98.2 / 99.6 / 159.8</td>
<td style="text-align:right">same</td>
</tr>
<tr>
<td>Tool call</td>
<td style="text-align:right">pass</td>
<td style="text-align:right">pass</td>
<td style="text-align:right"></td>
</tr>
</tbody>
</table>
<p dir="auto">decode 没变，预料中 因为decode 是被宽带限制了<br />
coding 150t/s</p>
]]></description><link>https://lcz.me/post/26573</link><guid isPermaLink="true">https://lcz.me/post/26573</guid><dc:creator><![CDATA[applejuice]]></dc:creator><pubDate>Wed, 21 Oct 2026 16:29:38 GMT</pubDate></item><item><title><![CDATA[Reply to 3090坛友进来，过年了【解锁F16算力 加快TTFT】！ on Wed, 21 Oct 2026 15:44:27 GMT]]></title><description><![CDATA[<p dir="auto">立刻就试试<br />
我还打算跳船去r9700 了</p>
]]></description><link>https://lcz.me/post/26565</link><guid isPermaLink="true">https://lcz.me/post/26565</guid><dc:creator><![CDATA[applejuice]]></dc:creator><pubDate>Wed, 21 Oct 2026 15:44:27 GMT</pubDate></item><item><title><![CDATA[Reply to 3090坛友进来，过年了【解锁F16算力 加快TTFT】！ on Wed, 21 Oct 2026 23:01:16 GMT]]></title><description><![CDATA[<h1>Zagitta/gpu-unlock：给 RTX 3090 解锁满速 BF16 的内核模块</h1>
<blockquote>
<p dir="auto"><strong>发布日期</strong>：2026 年 10 月 18 日 | <strong>Stars</strong>：约 137 | <strong>状态</strong>：更新非常活跃</p>
</blockquote>
<h2>项目背景</h2>
<p dir="auto">2026 年 10 月 18 日，开发者 Zagitta 公开了 gpu-unlock 项目。它要解决的是 NVIDIA 从安培一代就开始的老问题：<code>GeForce 消费卡（GA102/GA104）的 BF16 张量运算被固件人为限速</code>，远低于专业卡（RTX A 系列）的速率，而<code>专业卡硬件完全相同</code>，只是<code>速度选择器寄存器被锁死</code>。社区此前已有针对矿卡 CMP 90HX 的 cmp90hx-unlock（WildFlash1st 维护），本项目的 <code>V67 签名常量</code> 正是从那套方案改编而来。</p>
<h2>创新点：实现形态</h2>
<p dir="auto">它是一个 <code>Linux 内核模块</code>，在 <code>initramfs 阶段、NVIDIA 官方驱动绑定显卡之前</code> 运行：</p>
<ol>
<li>用从 <code>610.43.03 版官方包</code> 中提取并校验过 SHA-256 的 GSP/Booter 固件，以带 V67 签名的方式完成解锁</li>
<li>向两个速度选择器寄存器写入解锁值：<code>SS0 写 0x88888888</code>（选中满速 BF16）；SS1 写 0x8（<code>效果未验证</code>）</li>
<li>执行 <code>FLR 复位</code>，再把干净的卡交还给未修改的原厂驱动</li>
</ol>
<p dir="auto"><strong>它既不是 UEFI 程序也不是魔改驱动。</strong> 作者在 CachyOS 内核 + NVIDIA 615.71.09 驱动上验证：<code>BF16/F16 运算约提升 40%</code>。</p>
<h2>关键限制</h2>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>限制项</th>
<th>说明</th>
</tr>
</thead>
<tbody>
<tr>
<td>设备 ID</td>
<td><code>只接受 GeForce/CMP 的 GA102/GA104</code>，实测仅覆盖一张 RTX 3090（3090 Ti 等在 issue 请求中）</td>
</tr>
<tr>
<td>启动方式</td>
<td><code>必须冷启动生效，热重启不支持</code></td>
</tr>
<tr>
<td>启用方式</td>
<td>通过内核命令行 <code>gpu_unlock.targets= 显式 opt-in</code></td>
</tr>
<tr>
<td>驱动绑定</td>
<td><code>固件输入严格钉死 610.43.03</code>，换驱动需跟进适配</td>
</tr>
</tbody>
</table>
<h2>对 3090 持有者意味着什么？</h2>
<p dir="auto"><strong>第一，运行时解锁，无变砖风险。</strong> 不刷 VBIOS、不写 EEPROM，<code>断电重启即恢复原状</code>——这是它比一切"改 BIOS 解锁"方案最优雅的地方。DKMS + Arch/Debian/RPM 三条打包路径，装起来像正常内核模块。</p>
<p dir="auto"><strong>第二，收益精准命中 AI 推理场景。</strong> sm_86 没有 FP8 和 FP4，3090 跑大模型最吃重的就是 <code>BF16/INT8 张量核心</code>。对做 LLM 推理的人（尤其长上下文、prefill 密集、KV cache 全 BF16 的负载），<code>40% 的 BF16 提速</code> 意味着 vLLM/SGLang 的 prefill 吞吐和混合精度层的直接受益，等于零成本把 3090 往 A6000 的算力规格拉近一档。游戏玩家基本无感——<code>FP32/光栅不受此锁影响</code>。</p>
<p dir="auto"><strong>第三，注意边界。</strong> 这是<code>单卡单环境的实证结果</code>，作者自己声明"其他 3090 板卡和环境未经验证"；固件来源受 NVIDIA 驱动许可协议约束，作者只声明个人本地打包用途。加上驱动版本强绑定，目前更像给折腾党的高级工具，而非普适方案。对双 3090 机器（正好在用 615.71.09）来说值得关注——若后续适配驱动版本，<code>INT8 W8A8 + 满速 BF16 的组合会明显补上 3090 长上下文推理的短板</code>。</p>
<h2>按 vLLM/SGLang（W8A8/W4A16）实际场景拆解</h2>
<h3>① 完全不碰张量核心的负载 → 零收益</h3>
<p dir="auto">传统 FP32 CUDA 核心 GEMM、光栅化、显存带宽都不受这个锁影响。解锁的是<code>张量核心速率选择器</code>，纯标量/向量计算没戏。</p>
<h3>② W4A16 / W8A16（AWQ、GPTQ、Marlin）→ 有收益，主要在预填充</h3>
<p dir="auto">这是很多人忽略的点：现在的 INT4/INT8 权重量化在 vLLM/SGLang 里几乎全是 "weight-only" 方案——<code>反量化成 FP16 后跑 FP16 张量核心 GEMM</code>。仓库作者实测原话是 <em>"Faster BF16/F16 operations. About 40% gain"</em>，<code>F16 也在解锁范围内</code>。所以这类模型的 prefill（compute-bound，张量核心吞吐决定速度）理论上直接吃到接近 40% 的提升。</p>
<h3>③ 真·INT8 计算（Freaksterz W8A8，activation 也是 INT8）→ 很可能有，未经验证</h3>
<p dir="auto">仓库实测证据只覆盖 BF16。但有一个强旁证：</p>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>精度</th>
<th>RTX 3090</th>
<th>RTX A6000</th>
<th>比值</th>
</tr>
</thead>
<tbody>
<tr>
<td>INT8 (dense)</td>
<td>142 TOPS</td>
<td>308 TOPS</td>
<td><strong>2.17x</strong></td>
</tr>
<tr>
<td>BF16</td>
<td>71 TFLOPS</td>
<td>154.7 TFLOPS</td>
<td><strong>2.18x</strong></td>
</tr>
</tbody>
</table>
<p dir="auto"><code>INT8 与 BF16 的锁死比例完全一致</code>——说明 NVIDIA 在 GA102 上是把<code>整条张量核心流水线（含 INT8/INT4）一起限速</code>的。SS0 寄存器那 8 个 4-bit 字段大概率就是按精度分档的速率选择器，写 <code>0x88888888</code> 是把所有档位拉满。</p>
<h3>④ 解码（decode）阶段 → 基本无感</h3>
<p dir="auto">Decode 是<code>显存带宽瓶颈</code>（每 token 把权重从显存搬一遍），不是算力瓶颈。这个解锁是算力解锁，3090 的 <code>936 GB/s 带宽没人动过</code>。收益集中在 prefill / 长上下文首 token（<code>TTFT</code>），稳态出字速度 t/s 不会明显变化。</p>
<h2>结论 + 建议</h2>
<p dir="auto">W8A8 v3 属于第 ③ 层，<code>值得实测验证</code>：解锁前后各跑一次 vLLM 的 prefill 吞吐测试（如 <code>vllm bench</code> 长 prompt 的 TTFT，或 <code>torch._int_mm</code> 微基准）。如果 INT8 也吃到锁的解除，对"256K 上下文 + prefill 重"的部署是实打实的收益；同时把 decode 速度预期管理好，<code>那边不会有魔法</code>。</p>
]]></description><link>https://lcz.me/post/26564</link><guid isPermaLink="true">https://lcz.me/post/26564</guid><dc:creator><![CDATA[stxpnet]]></dc:creator><pubDate>Wed, 21 Oct 2026 23:01:16 GMT</pubDate></item></channel></rss>