<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0"><channel><title><![CDATA[Strata 装进 Mac：M5 Ultra 256GB 跑 104G 大模型，外加内网台式机 3080 Ti 12G联动]]></title><description><![CDATA[<h1>Strata 装进 Mac：M5 Ultra 256GB 跑 104G 大模型，外加内网台式机 3080 Ti 12G联动</h1>
<p dir="auto"><img src="https://upload.lcz.me/uploads/80f1742e-3b83-4bed-9157-281716043ba7.png" alt="t5-p2-h3.png" class="img-markdown  img-fluid" /></p>
<p dir="auto">同机器，Strata 用源码命令行装一遍、官方 dmg 装一遍，再跟 mlx-serve 同题对比。先放结论：</p>
<ul>
<li>壳的差别就一句话：<strong>dmg 装完就能用，源码路线六步 setup</strong>。跑起来是同一个引擎，速度没有差别。</li>
<li>大内存机上，流式惩罚消失：128GB 机器上 prefill 慢 3–4 倍，256GB 机器收窄到 1.6 倍。</li>
<li>跟 mlx-serve 对比：decode 打平、prefill 慢 1.6 倍、质量 5 题全过。<strong>没有任何一维赢，换引擎无收益</strong>——路径探索到此闭环。</li>
</ul>
<h2>测试环境</h2>
<p dir="auto"><img src="https://upload.lcz.me/uploads/285b7656-b738-4606-b407-c03e7ba176c6.jpeg" alt="t5-p3-qwen_processed.jpeg" class="img-markdown  img-fluid" /></p>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>项</th>
<th>值</th>
</tr>
</thead>
<tbody>
<tr>
<td>机型</td>
<td>Mac Studio，M5 Ultra 36 核，256GB 统一内存</td>
</tr>
<tr>
<td>模型</td>
<td>unsloth/Qwen3.8-Flash-Next-GGUF，UD-Q4_K_XL 档，104GB 四分片</td>
</tr>
<tr>
<td>引擎</td>
<td>Strata 0.2.15（app）+ engine 0.1.60-macos-arm64-metal</td>
</tr>
<tr>
<td>对照</td>
<td>mlx-serve，同机常驻，4.7bpw 同家族模型</td>
</tr>
</tbody>
</table>
<h2>两条安装路，都走通了</h2>
<p dir="auto"><strong>源码路线</strong>：clone → <code>setup.sh</code>，依次干七件事（Python 检查、编 Metal 引擎、下模型、对 sha256、pack 打包、MTP 草稿层、起服务）。全脚本可自动化，适合无人值守。注意 pack 产物 85GB，磁盘要留够。</p>
<p dir="auto"><strong>dmg 路线</strong>：装 app → 界面选模型自动下载 → 自动 pack、自动拉引擎组件、自动生成实例 api_key。视觉投影和 DFlash2 草稿层都是界面里点选。<strong>装完就能用</strong>。</p>
<p dir="auto">装完核验：dmg sha256 对官方 SHA256SUMS 逐字符一致；<code>spctl</code> 报 accepted, Notarized Developer ID。</p>
<p dir="auto">磁盘账：共 183GB（模型 104GB + pack + 草稿层）。</p>
<h2>app 版真实负载 4 小时：90 条请求的账</h2>
<p dir="auto"><img src="https://upload.lcz.me/uploads/3b3b4ce9-b32b-43ef-8014-83d588e285f5.png" alt="t5-p2d-h3.png" class="img-markdown  img-fluid" /></p>
<p dir="auto">app 起服务后接进 agent 链路当日常大脑跑了 4 小时，引擎日志留下 90 条真实请求——不是跑分脚本，是长会话真实流量：</p>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>指标</th>
<th>读数</th>
</tr>
</thead>
<tbody>
<tr>
<td>decode</td>
<td>中位 117 tok/s，波动带 48–200</td>
</tr>
<tr>
<td>投机解码接受率</td>
<td>69.2%（77,182 / 111,531 草稿，MTP + DFlash2）</td>
</tr>
<tr>
<td>prefill 冷读</td>
<td>均值 ~2.8K，峰值 3.4K tok/s</td>
</tr>
<tr>
<td>缓存命中</td>
<td>67K 长会话滚到下一轮，221ms 吃完（复用 67K，只读增量 437）</td>
</tr>
<tr>
<td>最长会话</td>
<td>prompt 67.7K token</td>
</tr>
<tr>
<td>驻留</td>
<td>全加载后还剩 154,918 MiB 空闲显存，80 个专家常驻（R4 hit path ON）</td>
</tr>
</tbody>
</table>
<p dir="auto">两条值得单说：</p>
<ol>
<li><strong>前缀缓存是长会话的胜负手</strong>。agent 负载每轮只增几百 token，命中时 prefill 几乎免费——"上下文越堆越慢"在这套组合上不成立。</li>
<li><strong>69.2% 投机接受率是真实流量攒的</strong>，直接解释 decode 波动带上沿为什么能冲到 200。</li>
</ol>
<h2>跟 mlx-serve 同题对拉</h2>
<p dir="auto"><img src="https://upload.lcz.me/uploads/3c0356be-6c6a-4ff5-9fc4-b575262de37f.png" alt="chart-vs-mlx.png" class="img-markdown  img-fluid" /></p>
<p dir="auto">同脚本、temperature=0、usage 回读：</p>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>指标</th>
<th>Strata UD-Q4_K_XL</th>
<th>mlx-serve 4.7bpw</th>
<th>判词</th>
</tr>
</thead>
<tbody>
<tr>
<td>decode 热身（512 tok ×3）</td>
<td>108 / 133 / 133</td>
<td>109 / 115 / 145</td>
<td>波动带重叠，打平</td>
</tr>
<tr>
<td>prefill 42K（破缓存 ×2）</td>
<td>3.2–3.5K tok/s</td>
<td>5.6K tok/s</td>
<td>Strata 慢 1.6×</td>
</tr>
<tr>
<td>短请求 TTFT</td>
<td>1–2 ms</td>
<td>1–2 ms</td>
<td>平</td>
</tr>
<tr>
<td>质量 5 题（含代码实跑判卷）</td>
<td>5 <img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/2705.png?v=3c59dda5525" class="not-responsive emoji emoji-android emoji--white_check_mark" style="height:1.4em;width:auto;vertical-align:middle" title="✅" alt="✅" /></td>
<td>5 <img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/2705.png?v=3c59dda5525" class="not-responsive emoji emoji-android emoji--white_check_mark" style="height:1.4em;width:auto;vertical-align:middle" title="✅" alt="✅" /></td>
<td>平（n=5）</td>
</tr>
</tbody>
</table>
<p dir="auto">双引擎共存账：mlx-serve 大脑常驻 + Strata 全驻，memory_pressure 49% free，swap 仅 579MB。256GB 扛两套无压力；小内存机器别照抄这条。</p>
<h2>局域网那台 3080 Ti：接入、跑况与用法</h2>
<p dir="auto"><img src="https://upload.lcz.me/uploads/12531ef6-a95c-4600-9783-44b4464d8025.png" alt="poster-desktop.png" class="img-markdown  img-fluid" /></p>
<p dir="auto">Mac 之外，家里还有一台 RTX 3080 Ti 12G老台式机，内存四通道64G（16*4）跑 Strata q2_0（n_ctx 65536，推理模型），走反向隧道接进来。定位：<strong>它是隔离面，不是提速面</strong>——decode 60–75 tok/s 比本机慢，收益是把粗加工（分类、摘要、改写、批量生成）从本机 GPU 挪开，让本机大脑专注主会话。</p>
<p dir="auto"><img src="https://upload.lcz.me/uploads/317e94b4-e1f5-4b42-84a5-c63b1eb5f053.png" alt="Snapzy_2026-11-17_19-09-45_568.png" class="img-markdown  img-fluid" /></p>
<p dir="auto">11-15 全量矩阵实测定稿的用法：</p>
<ul>
<li><strong>甜点区</strong>：业务输入 ≤35K、输出 ≤8K、单发短会话，响应 10–25s。</li>
<li><strong>派活走 API</strong>：任务书自带全部材料，一发一收，结果落盘。DSH 界面手动切台式机只限"新窗口 + 新会话 + 单话题短用"，不堆长对话。</li>
<li><strong>严格串行</strong>：并发就是排队，队头阻塞实测 36s。长任务在跑时别插短请求指望即时响应。</li>
<li><strong>禁派计数和多步算术</strong>——两边模型都不可信，计算交代码执行。</li>
<li><strong>关机即全断，断得干净</strong>：连接拒绝 0.2 毫秒返回，不挂死、不重试风暴、本机零波及。没有自愈，恢复靠对侧重新拉隧道——符合"不常驻、纯手动"的设计。</li>
</ul>
<h2>边界</h2>
<ol>
<li>质量卷 n=5，只能说"无肉眼可见差异"，不是"质量等价"。</li>
<li>速度读数全部来自单台 256GB M5 Ultra；16–24GB 机器是流式加载的主场，数字不搬。</li>
<li>90 条请求是 agent 型负载（长会话、高缓存命中），换聊天型短请求画像会不同。</li>
<li>台式机数据是 11-15 单轮矩阵，n=1 定稿，后续波动未跟踪。</li>
</ol>
<h2>图片出处</h2>
<ul>
<li>主题图与插图：本机双引擎生图（封面与数据板 H3，运行环境 Qwen-Image-2.1）</li>
</ul>
]]></description><link>https://lcz.me/topic/3151</link><generator>RSS for Node</generator><lastBuildDate>Thu, 19 Nov 2026 00:16:27 GMT</lastBuildDate><atom:link href="https://lcz.me/topic/3151.rss" rel="self" type="application/rss+xml"/><pubDate>Tue, 17 Nov 2026 11:20:40 GMT</pubDate><ttl>60</ttl><item><title><![CDATA[Reply to Strata 装进 Mac：M5 Ultra 256GB 跑 104G 大模型，外加内网台式机 3080 Ti 12G联动 on Wed, 18 Nov 2026 06:38:46 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/cc-tgo" aria-label="Profile: cc-tgo">@<bdi>cc-tgo</bdi></a></p>
<blockquote>
<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/cc-tgo" aria-label="Profile: cc-tgo">@<bdi>cc-tgo</bdi></a> <a href="/post/34261">说</a>:</p>
<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/ivan-lan" aria-label="Profile: ivan-lan">@<bdi>ivan-lan</bdi></a> 大佬，要不你再上两台M5 Ultra 256g组个试试看是不是比512G单台更优，最终还能再把256+256+512三台组个论坛最强天团。让我也有个念想，以后要不要再加一台256G<img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/1f633.png?v=3c59dda5525" class="not-responsive emoji emoji-android emoji--flushed" style="height:1.4em;width:auto;vertical-align:middle" title=":flushed:" alt="😳" /></p>
</blockquote>
<p dir="auto">还不不如上RTX Pro 6000， 完美的PD分离方案，还能ComfyUi无敌</p>
]]></description><link>https://lcz.me/post/34323</link><guid isPermaLink="true">https://lcz.me/post/34323</guid><dc:creator><![CDATA[ivan lan]]></dc:creator><pubDate>Wed, 18 Nov 2026 06:38:46 GMT</pubDate></item><item><title><![CDATA[Reply to Strata 装进 Mac：M5 Ultra 256GB 跑 104G 大模型，外加内网台式机 3080 Ti 12G联动 on Wed, 18 Nov 2026 02:28:36 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/ivan-lan" aria-label="Profile: ivan-lan">@<bdi>ivan-lan</bdi></a> 大佬，要不你再上两台M5 Ultra 256g组个试试看是不是比512G单台更优，最终还能再把256+256+512三台组个论坛最强天团。让我也有个念想，以后要不要再加一台256G<img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/1f633.png?v=3c59dda5525" class="not-responsive emoji emoji-android emoji--flushed" style="height:1.4em;width:auto;vertical-align:middle" title=":flushed:" alt="😳" /></p>
]]></description><link>https://lcz.me/post/34261</link><guid isPermaLink="true">https://lcz.me/post/34261</guid><dc:creator><![CDATA[cc tgo]]></dc:creator><pubDate>Wed, 18 Nov 2026 02:28:36 GMT</pubDate></item><item><title><![CDATA[Reply to Strata 装进 Mac：M5 Ultra 256GB 跑 104G 大模型，外加内网台式机 3080 Ti 12G联动 on Wed, 18 Nov 2026 02:27:22 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/ivan-lan" aria-label="Profile: ivan-lan">@<bdi>ivan-lan</bdi></a> 大佬，要不你再上两台M5 Ultra 256g组个试试看是不是比512G单台更优，最终还能再把256+256+512三台组个论坛最强天团。让我也有个念想，以后要不要再加一台256G<img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/1f633.png?v=3c59dda5525" class="not-responsive emoji emoji-android emoji--flushed" style="height:1.4em;width:auto;vertical-align:middle" title=":flushed:" alt="😳" /></p>
]]></description><link>https://lcz.me/post/34258</link><guid isPermaLink="true">https://lcz.me/post/34258</guid><dc:creator><![CDATA[cc tgo]]></dc:creator><pubDate>Wed, 18 Nov 2026 02:27:22 GMT</pubDate></item><item><title><![CDATA[Reply to Strata 装进 Mac：M5 Ultra 256GB 跑 104G 大模型，外加内网台式机 3080 Ti 12G联动 on Wed, 18 Nov 2026 02:02:42 GMT]]></title><description><![CDATA[<p dir="auto">哈哈，论坛真是大宝藏，收下了，有空抄个作业</p>
]]></description><link>https://lcz.me/post/34250</link><guid isPermaLink="true">https://lcz.me/post/34250</guid><dc:creator><![CDATA[ivan lan]]></dc:creator><pubDate>Wed, 18 Nov 2026 02:02:42 GMT</pubDate></item><item><title><![CDATA[Reply to Strata 装进 Mac：M5 Ultra 256GB 跑 104G 大模型，外加内网台式机 3080 Ti 12G联动 on Tue, 17 Nov 2026 23:03:20 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/terry" aria-label="Profile: terry">@<bdi>terry</bdi></a> 纯本地用H3-Image跟Qwen-Image-2.1生成，几十秒出一张。</p>
]]></description><link>https://lcz.me/post/34223</link><guid isPermaLink="true">https://lcz.me/post/34223</guid><dc:creator><![CDATA[cc tgo]]></dc:creator><pubDate>Tue, 17 Nov 2026 23:03:20 GMT</pubDate></item><item><title><![CDATA[Reply to Strata 装进 Mac：M5 Ultra 256GB 跑 104G 大模型，外加内网台式机 3080 Ti 12G联动 on Tue, 17 Nov 2026 21:46:38 GMT]]></title><description><![CDATA[<p dir="auto">非常棒的构图，GPT做的？</p>
]]></description><link>https://lcz.me/post/34220</link><guid isPermaLink="true">https://lcz.me/post/34220</guid><dc:creator><![CDATA[terry]]></dc:creator><pubDate>Tue, 17 Nov 2026 21:46:38 GMT</pubDate></item><item><title><![CDATA[Reply to Strata 装进 Mac：M5 Ultra 256GB 跑 104G 大模型，外加内网台式机 3080 Ti 12G联动 on Tue, 17 Nov 2026 21:46:02 GMT]]></title><description><![CDATA[<p dir="auto"><img src="https://lcz.me/assets/plugins/nodebb-plugin-emoji/emoji/android/2b50.png?v=3c59dda5525" class="not-responsive emoji emoji-android emoji--star" style="height:1.4em;width:auto;vertical-align:middle" title="⭐" alt="⭐" /> 版主审定：本帖设为<strong>精华</strong>，作者 <strong>+6 积分</strong>奖励，希望再接再厉！</p>
<blockquote>
<p dir="auto">奖励凭证：精华 +6 分 · 编号 f3151-3451-1</p>
</blockquote>
]]></description><link>https://lcz.me/post/34219</link><guid isPermaLink="true">https://lcz.me/post/34219</guid><dc:creator><![CDATA[Xiaote]]></dc:creator><pubDate>Tue, 17 Nov 2026 21:46:02 GMT</pubDate></item></channel></rss>