<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0"><channel><title><![CDATA[新版Strata v0.1.34（看图功能已可用）---48G内存搭配7900XTX显卡----Qwen3.8-Flash-Next本地测试数据。]]></title><description><![CDATA[<ol>
<li>硬件与软件环境</li>
</ol>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>项目</th>
<th>测试环境</th>
</tr>
</thead>
<tbody>
<tr>
<td>CPU</td>
<td>AMD Ryzen 7 9800X3D，8 核 16 线程，AVX-512 / VNNI 可用</td>
</tr>
<tr>
<td>GPU</td>
<td>AMD Radeon RX 7900 XTX，标称 24GB 显存，gfx1100</td>
</tr>
<tr>
<td>GPU 连接</td>
<td>PCIe 4.0 x16，链路 16 GT/s、x16</td>
</tr>
<tr>
<td>系统内存</td>
<td>标称 48GB，系统可见约 45.2 GiB</td>
</tr>
<tr>
<td>模型存储</td>
<td>Kingston NV3 1TB NVMe；GGUF、专家 pack、PLE 放在 NVMe 上</td>
</tr>
<tr>
<td>操作系统</td>
<td>Ubuntu 26.04 LTS</td>
</tr>
<tr>
<td>内核</td>
<td>7.0.0-34-generic</td>
</tr>
<tr>
<td>服务 Python</td>
<td>独立 Python 3.12 虚拟环境</td>
</tr>
<tr>
<td>HIP / ROCm</td>
<td>AMD TheRock 7.10.0a20251120，沿用原安装环境</td>
</tr>
<tr>
<td>hipBLASLt</td>
<td>100200，使用与 gfx1100 和该版本匹配的调优表</td>
</tr>
<tr>
<td>Strata</td>
<td>v0.1.34，Linux HIP 后端，本机源码编译</td>
</tr>
<tr>
<td>图片编码器</td>
<td>CPU 编译版本，8 线程，未使用 GPU 编码</td>
</tr>
<tr>
<td>测试方式</td>
<td>单服务独占运行；请求顺序执行，服务并发为 1</td>
</tr>
</tbody>
</table>
<p dir="auto">RAM 和显存的监测统一使用 GiB，即 bytes / 2³⁰；不要将软件显示的 GB 与 GiB 混用。内存频率、时序和主板型号未在本轮采集，不作推测。本报告未测试 AI PRO R9700、其他显卡、双卡，也未测试 Windows 原生运行。</p>
<p dir="auto">新版提交固定为：</p>
<pre><code class="language-text">1678de333d0e0711bc414ad992b640e1a37dd814
</code></pre>
<p dir="auto">v0.1.34 的发布说明区分了 Windows 和 Linux AMD：本次走的是 <strong>Linux HIP＋CPU 看图</strong> 路线，没有套用 Windows HIP 压缩包。<a href="https://github.com/Niko1221/Strata/releases/tag/v0.1.34" rel="nofollow ugc">官方发布说明</a></p>
<h2>2. 模型与权重</h2>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>项目</th>
<th>实际使用</th>
</tr>
</thead>
<tbody>
<tr>
<td>文本模型</td>
<td>Qwen3.8-Flash-Next-GSQ-RCO，IQ3_XXS</td>
</tr>
<tr>
<td>权重来源</td>
<td>ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF</td>
</tr>
<tr>
<td>权重 revision</td>
<td>ed59f92082b1e93c0e96d60a8b11aab089b52f09</td>
</tr>
<tr>
<td>GGUF</td>
<td>两片，合计约 75.8 GB；下载时两片均核对 SHA256</td>
</tr>
<tr>
<td>专家 pack</td>
<td>约 39.97 GiB</td>
</tr>
<tr>
<td>原生小权重 arena</td>
<td>约 1.43 GiB</td>
</tr>
<tr>
<td>图片 projector</td>
<td>mmproj-Qwen3.8-Flash-Next-BF16.gguf</td>
</tr>
<tr>
<td>projector 大小</td>
<td>907,543,008 bytes，约 0.908 GB / 0.845 GiB</td>
</tr>
<tr>
<td>MTP</td>
<td>启用匹配的 MTP runtime，CJK draft vocabulary</td>
</tr>
</tbody>
</table>
<p dir="auto">视觉 projector 取自与文本 GGUF 相同的 revision，完整 SHA256 校验通过：</p>
<pre><code class="language-text">b1a82259702816a5330d7bd7607cd9676b11780e79ff7348c21103ff3ce49bd0
</code></pre>
<p dir="auto">模型来源：<a href="https://huggingface.co/ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF/tree/ed59f92082b1e93c0e96d60a8b11aab089b52f09" rel="nofollow ugc">固定 revision 的 ISTA GGUF 仓库</a>。本轮只测试这组权重，没有做其他量化或其他微调模型的 A/B。</p>
<h2>3. 关键运行配置</h2>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>配置</th>
<th>值</th>
</tr>
</thead>
<tbody>
<tr>
<td>上下文</td>
<td>131072 tokens，即 128K</td>
</tr>
<tr>
<td>KV</td>
<td>int8</td>
</tr>
<tr>
<td>Prefill chunk</td>
<td>4096</td>
</tr>
<tr>
<td>CPU expert pool workers</td>
<td>7，另有 host thread</td>
</tr>
<tr>
<td>Speculation</td>
<td>spec=4，spec-min-p=0.5</td>
</tr>
<tr>
<td>Expert cache</td>
<td>auto，固定 expert profile</td>
</tr>
<tr>
<td>CPU 专家</td>
<td>强制常驻 RAM，pageable，非 pinned</td>
</tr>
<tr>
<td>MMAP</td>
<td>--mmap-experts</td>
</tr>
<tr>
<td>VRAM reserve 参数</td>
<td>1536 MiB</td>
</tr>
<tr>
<td>Adaptive swaps</td>
<td>adapt-every=0</td>
</tr>
<tr>
<td>PCIe fraction</td>
<td>pcie-frac=0</td>
</tr>
<tr>
<td>多对话缓存</td>
<td>conversation-cache-mib=0</td>
</tr>
<tr>
<td>自动 idle unload</td>
<td>关闭</td>
</tr>
<tr>
<td>HIP MMQ</td>
<td>STRATA_PREFILL_MMQ=1</td>
</tr>
<tr>
<td>图片嵌入路径</td>
<td>文本引擎必须带 --vision</td>
</tr>
<tr>
<td>CPU 图片编码</td>
<td>gpu=false，threads=8，max_tokens=300</td>
</tr>
</tbody>
</table>
<p dir="auto">核心参数记录如下，模型和 pack 路径另行配置：</p>
<pre><code class="language-text">--max-context 131072 --kv int8 --prefill 4096
--pool-workers 7 --spec 4 --spec-min-p 0.5
--expert-cache auto --adapt-every 0 --pcie-frac 0
--vram-reserve-mib 1536 --conversation-cache-mib 0
--mmap-experts --resident-cpu-experts --vision
</code></pre>
<p dir="auto">pageable 常驻配合 <code>STRATA_RESIDENT_PIN=0</code>。这组配置会在常驻资源预算不足时拒绝启动；本轮没有用持续 swap 或临时并行启动另一服务来维持运行。</p>
<p dir="auto">运行日志确认新版 <strong>CPU 常驻专家约 26.46 GiB，GPU 缓存 9,583 个专家，约 15.53 GiB</strong>。这些是专家部分的分配，不是整个服务的总内存/显存；KV、dense、MTP、图片编码器和临时缓冲还会占用资源。</p>
<p dir="auto">CPU 图片配置的 <code>max_tokens=300</code> 是图像 token 预算，用来控制图像缩放和编码负载，<strong>不是回答只能生成 300 tokens</strong>。小字号文档、复杂截图和精细定位没有在本轮验证，不能根据这两张简单测试图推断其 OCR 精度。</p>
<h2>4. 测试方法与指标</h2>
<p dir="auto">升级时保留文本权重、128K 及主要推理参数，新增视觉组件；未同时更换系统 ROCm 或文本模型。首先编译新 HIP 引擎和 CPU 编码器、校验 projector，再确认服务空闲，停止旧服务的整个 cgroup。连续检查资源释放后启动新版，最后验证真实 API 请求。</p>
<p dir="auto">本轮新版真实模型测试共 <strong>4 个请求</strong>：两张独立图片、一个近满 128K 图文请求、一个长请求后的短文本健康检查。请求参数为 <code>temperature=0、top_k=1、top_p=1、min_p=0、seed=42、reasoning_effort=none</code>；使用流式 Chat Completions。</p>
<p dir="auto">指标含义：</p>
<ul>
<li><strong>PP / prefill token/s</strong>：引擎处理输入的速度，不是回答生成速度。</li>
<li><strong>TG / decode token/s</strong>：引擎报告的输出 tokens ÷ 解码耗时，不包含读入长提示词的时间。</li>
<li><strong>TTFT</strong>：客户端从发出请求到收到首个非空正文的时间，包含该请求的图片处理、预填充及首次输出等待。</li>
<li><strong>总耗时</strong>：完整请求的客户端墙钟时间。</li>
<li><strong>cache_n / cached_tokens</strong>：检查输入 KV 是否复用。本轮 4 个请求均为 0；这不等于系统文件缓存是冷的。</li>
</ul>
<p dir="auto">两张图片都是程序生成的 <strong>512×336 PNG</strong>，白底、大号数字及三个彩色几何图形。提示词只要求读文字和描述形状，没有把正确数字、颜色或形状列表告知模型。第二张更换数字，并交换图形颜色，避免把第一张回答复用为识别结果。</p>
<p dir="auto">128K 测试以模型自己的 tokenizer 和 chat template 构造输入，再以 API <code>usage.prompt_tokens</code> 核实实际输入量，图像 tokens 计入同一个窗口。长文本是合成 JavaScript 档案，中间插入唯一标记，同时附上第一张图片。该图片已在前一个请求中编码，<strong>可能复用图片编码缓存，但没有复用输入 KV</strong>；因此这是长上下文图文验证，不是“首次冷图编码＋128K”的时延基准。</p>
<h2>5. v0.1.34：真实图片与图文结果</h2>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>测试</th>
<th style="text-align:right">输入 tokens</th>
<th style="text-align:right">输出 tokens</th>
<th style="text-align:right">TTFT</th>
<th style="text-align:right">总耗时</th>
<th style="text-align:right">PP token/s</th>
<th style="text-align:right">TG token/s</th>
</tr>
</thead>
<tbody>
<tr>
<td>图片 A，数字 7462</td>
<td style="text-align:right">234</td>
<td style="text-align:right">90</td>
<td style="text-align:right">3.00 s</td>
<td style="text-align:right">4.31 s</td>
<td style="text-align:right">149.0</td>
<td style="text-align:right">67.2</td>
</tr>
<tr>
<td>图片 B，数字 9137</td>
<td style="text-align:right">234</td>
<td style="text-align:right">90</td>
<td style="text-align:right">2.82 s</td>
<td style="text-align:right">4.16 s</td>
<td style="text-align:right">162.1</td>
<td style="text-align:right">66.5</td>
</tr>
<tr>
<td>近满 128K＋图片</td>
<td style="text-align:right">129,745</td>
<td style="text-align:right">35</td>
<td style="text-align:right">134.82 s</td>
<td style="text-align:right">135.29 s</td>
<td style="text-align:right">963.5</td>
<td style="text-align:right">70.8</td>
</tr>
<tr>
<td>长图文后的 HEALTHY 检查</td>
<td style="text-align:right">17</td>
<td style="text-align:right">4</td>
<td style="text-align:right">0.24 s</td>
<td style="text-align:right">0.35 s</td>
<td style="text-align:right">78.2</td>
<td style="text-align:right">31.3</td>
</tr>
</tbody>
</table>
<p dir="auto">四个请求均正常结束，<code>finish_reason=stop</code>。</p>
]]></description><link>https://lcz.me/topic/2042</link><generator>RSS for Node</generator><lastBuildDate>Mon, 12 Oct 2026 15:40:01 GMT</lastBuildDate><atom:link href="https://lcz.me/topic/2042.rss" rel="self" type="application/rss+xml"/><pubDate>Fri, 02 Oct 2026 02:18:36 GMT</pubDate><ttl>60</ttl><item><title><![CDATA[Reply to 新版Strata v0.1.34（看图功能已可用）---48G内存搭配7900XTX显卡----Qwen3.8-Flash-Next本地测试数据。 on Sun, 04 Oct 2026 02:18:11 GMT]]></title><description><![CDATA[<p dir="auto">非常好的帖子，这个我可以直接抄作业。</p>
]]></description><link>https://lcz.me/post/22184</link><guid isPermaLink="true">https://lcz.me/post/22184</guid><dc:creator><![CDATA[terry]]></dc:creator><pubDate>Sun, 04 Oct 2026 02:18:11 GMT</pubDate></item><item><title><![CDATA[Reply to 新版Strata v0.1.34（看图功能已可用）---48G内存搭配7900XTX显卡----Qwen3.8-Flash-Next本地测试数据。 on Fri, 02 Oct 2026 12:49:11 GMT]]></title><description><![CDATA[<p dir="auto">马上买了套板u组起来 多备一台</p>
]]></description><link>https://lcz.me/post/21956</link><guid isPermaLink="true">https://lcz.me/post/21956</guid><dc:creator><![CDATA[tom23]]></dc:creator><pubDate>Fri, 02 Oct 2026 12:49:11 GMT</pubDate></item><item><title><![CDATA[Reply to 新版Strata v0.1.34（看图功能已可用）---48G内存搭配7900XTX显卡----Qwen3.8-Flash-Next本地测试数据。 on Fri, 02 Oct 2026 02:21:58 GMT]]></title><description><![CDATA[<p dir="auto">這更新速度～真是戳中大家痛點了<img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/1f44d.png?v=fe25256ab4a" class="not-responsive emoji emoji-android emoji--+1" style="height:1.4em;width:auto;vertical-align:middle" title="👍" alt="👍" /></p>
]]></description><link>https://lcz.me/post/21909</link><guid isPermaLink="true">https://lcz.me/post/21909</guid><dc:creator><![CDATA[kiwi]]></dc:creator><pubDate>Fri, 02 Oct 2026 02:21:58 GMT</pubDate></item></channel></rss>