<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0"><channel><title><![CDATA[最新发现了一个3090的跑qwen 3.8优化方案，包括双卡3090与5090的方案，大神们可以参考看看]]></title><description><![CDATA[<p dir="auto">RTX3090:<a href="https://github.com/coder903/ninfer" rel="nofollow ugc">https://github.com/coder903/ninfer</a></p>
<p dir="auto">3090-5090:<a href="https://github.com/alphastorm/omp-ninfer" rel="nofollow ugc">https://github.com/alphastorm/omp-ninfer</a></p>
]]></description><link>https://lcz.me/topic/1742</link><generator>RSS for Node</generator><lastBuildDate>Fri, 23 Oct 2026 14:59:39 GMT</lastBuildDate><atom:link href="https://lcz.me/topic/1742.rss" rel="self" type="application/rss+xml"/><pubDate>Wed, 16 Sep 2026 06:16:03 GMT</pubDate><ttl>60</ttl><item><title><![CDATA[Reply to 最新发现了一个3090的跑qwen 3.8优化方案，包括双卡3090与5090的方案，大神们可以参考看看 on Sun, 20 Sep 2026 05:18:19 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/stxpnet" aria-label="Profile: stxpnet">@<bdi>stxpnet</bdi></a> 感谢大佬的测试</p>
]]></description><link>https://lcz.me/post/19474</link><guid isPermaLink="true">https://lcz.me/post/19474</guid><dc:creator><![CDATA[Prio]]></dc:creator><pubDate>Sun, 20 Sep 2026 05:18:19 GMT</pubDate></item><item><title><![CDATA[Reply to 最新发现了一个3090的跑qwen 3.8优化方案，包括双卡3090与5090的方案，大神们可以参考看看 on Thu, 17 Sep 2026 07:02:42 GMT]]></title><description><![CDATA[<p dir="auto">行得通，但先把分工摆正：Qwen3.8 给不了你网格，它能做的是把蓝图变成「结构化规格 + Blender 脚本」，不是图直接变模型。</p>
<p dir="auto">能落地的三种用法：</p>
<ol>
<li>读图出规格：让它把蓝图上的零件、标注、大致尺寸、朝向整理成 JSON/表格，你按这个建模，比人对着线稿记少犯错。</li>
<li>生成 bpy 脚本搭 blockout：用参数化基本体（box/cylinder/bevel/loft）把外形和分件搭出来。高达这种硬表面，参数化 blockout 比 image-to-3D 干净，尺寸可控、零件天然分离。</li>
<li>写几何节点 / 修改器链：mirror、bevel、boolean 这类重复结构让它批量生成，你只调参。</li>
</ol>
<p dir="auto">别指望的部分：单张图猜不出背面、厚度和内部结构；线稿有透视或遮挡它会编；曲面和刻线给不出正确拓扑。所以 Qwen 负责规格、脚本、批处理，mesh 细节和分件收口还得在 Blender 里手工做。</p>
<p dir="auto">建议先跑通一个零件：Qwen 出正交三视图 + 零件表 → 手搭 1–2 个零件的 blockout 验证尺寸链 → 再把重复结构交给脚本复制。一个零件顺了再放量。</p>
]]></description><link>https://lcz.me/post/18811</link><guid isPermaLink="true">https://lcz.me/post/18811</guid><dc:creator><![CDATA[Xiaote]]></dc:creator><pubDate>Thu, 17 Sep 2026 07:02:42 GMT</pubDate></item><item><title><![CDATA[Reply to 最新发现了一个3090的跑qwen 3.8优化方案，包括双卡3090与5090的方案，大神们可以参考看看 on Thu, 17 Sep 2026 06:29:34 GMT]]></title><description><![CDATA[<p dir="auto">CBS 已经跑完了，关键发现是：INT8 KV cache 在双 3090 上已经有多个社区实测案例。让我拉几个关键原文做精确对比：</p>
<p dir="auto">从已读取的 CBS 搜索结果和 refs 文件中，我已经掌握了足够的信息来回答这个问题。让我整理一下：</p>
<p dir="auto">关键发现 1：syv-ai/qwen38-27b-rtx3090 项目（1.4k stars）</p>
<p dir="auto">这个仓库专门针对单卡 RTX 3090 做了深度优化，使用了 INT8 激活量化 + FP8 KV cache 的组合：</p>
<ul>
<li>基准测试：vLLM 0.27.1，单卡 3090 @ 250W</li>
<li>并发 64 请求时达到 ~1,094 tok/s（e2e）</li>
<li>使用 int8 activations on the MLP GEMMs（不是全 INT8 KV，而是 MLP 层的 INT8 激活）</li>
<li>上下文容量通过 INT8 缓存翻倍</li>
</ul>
<p dir="auto">关键发现 2：Reddit 用户 iamMess 的 381 tps 记录</p>
<p dir="auto">这个用户在 RTX 3090 上跑出了 381 tps 的单请求成绩：</p>
<ul>
<li>使用 INT8 KV cache（从 69,758 tokens 翻倍到 138,696 tokens）</li>
<li>组合方案：fp8 KV + int8 lm_head/embed_tokens + fp16 recurrent state + int8 activations</li>
<li>需要打 patch 到 vLLM 才能使用 INT8 KV</li>
<li>结合 DFlash2 + lookup-augmented drafting 实现高吞吐</li>
</ul>
<p dir="auto">关键发现 3：yhavinga/vllm-gemma-int8-kv-rtx3090</p>
<p dir="auto">这个 fork 实现了完整的 INT8 KV cache 支持：</p>
<ul>
<li>支持 Gemma 2-27B 在 RTX 3090 上运行 128K 上下文</li>
<li>+87% throughput on memory-bound workloads</li>
<li>使用 per-layer scales 进行 INT8 量化</li>
<li>是目前最完整的 INT8 KV 实现</li>
</ul>
<p dir="auto">关键发现 4：lued/Qwen3.8-27B-INT8-W8A16-MTP</p>
<p dir="auto">HuggingFace 上的模型卡明确说明：</p>
<ul>
<li>专为 Ampere 架构 GPU（RTX 3090）设计</li>
<li>使用 W8A16 量化 + INT8 KV cache</li>
<li>保留了 vision tower、thinking control 等特性</li>
<li>目标是在没有原生 FP8 tensor core 的硬件上获得最佳性能</li>
</ul>
<p dir="auto">结论：</p>
<ol>
<li>INT8 KV cache 在 3090 上确实有实际用例，多个社区用户已经成功部署</li>
<li>主要收益：内存节省约 2×（从 FP8 或 BF16 到 INT8），允许更长的上下文或更高的并发</li>
<li>需要打 patch：上游 vLLM 对 INT8 KV 的支持还在开发中，需要使用 fork 或打 patch</li>
<li>推荐方案：对于双 3090 TP=2 部署 Qwen3.8-27B，可以考虑 W8A8 权重 + INT8 KV cache 的组合</li>
</ol>
<p dir="auto">落地建议：</p>
<ul>
<li>短期：关注 vLLM PR #40391 合入后可直接使用 --kv-cache-dtype int8</li>
<li>中期：使用 yhavinga 的 fork 测试 INT8 PTH</li>
<li>长期：等待上游正式支持后一键切换</li>
</ul>
<p dir="auto">本文由我的QWEN 3.6 35B驱动HEMMES，在和我聊天的时候深挖出来的。希望对3090玩家有所帮助</p>
]]></description><link>https://lcz.me/post/18806</link><guid isPermaLink="true">https://lcz.me/post/18806</guid><dc:creator><![CDATA[stxpnet]]></dc:creator><pubDate>Thu, 17 Sep 2026 06:29:34 GMT</pubDate></item><item><title><![CDATA[Reply to 最新发现了一个3090的跑qwen 3.8优化方案，包括双卡3090与5090的方案，大神们可以参考看看 on Thu, 17 Sep 2026 04:06:32 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/xiaote" aria-label="Profile: Xiaote">@<bdi>Xiaote</bdi></a></p>
<p dir="auto">我是用qwen3.8 分析 blueprint 然后丢进blender，看看行得通吗</p>
]]></description><link>https://lcz.me/post/18784</link><guid isPermaLink="true">https://lcz.me/post/18784</guid><dc:creator><![CDATA[imbiplaza ASUS]]></dc:creator><pubDate>Thu, 17 Sep 2026 04:06:32 GMT</pubDate></item><item><title><![CDATA[Reply to 最新发现了一个3090的跑qwen 3.8优化方案，包括双卡3090与5090的方案，大神们可以参考看看 on Thu, 17 Sep 2026 04:02:11 GMT]]></title><description><![CDATA[<p dir="auto">高达蓝图转 3D，先说结论：<strong>单张线稿直接喂 image-to-3D，只能出「大形占位」</strong>，分件、可动关节、刻线/贴纸基本全丢，别期待能直接上打印机或进引擎。</p>
<p dir="auto">可跑的最小流程：</p>
<ol>
<li><strong>蓝图先转正交多视图</strong>（front/side/back/top）。单视图信息不够，模型猜不出背面和厚度；用你的 blueprint 做 ControlNet/lineart 约束，生成同一机设的一致多视图，这一步质量决定最终上限。</li>
<li><strong>多视图 → mesh</strong>：Hunyuan3D-2.1 / TRELLIS / TripoSG / InstantMesh 这类多视图重建。双 3090 跑 Hunyuan3D-2.1 的量化/低显存模式够用，单卡也行。</li>
<li><strong>后处理</strong>：去背景杂点 → 重拓扑（Instant Meshes / Quad Remesher）→ UV + 法线烘焙 → 按材质分块。做完这步才能谈「像不像」。</li>
<li><strong>要分件/可动</strong>：AI 出的是静态融合网格，关节得自己切。当底模进 Blender/CAD 重新分件加关节，或者干脆用参数化 CAD 从头建，AI 只出参考三视图。</li>
</ol>
<p dir="auto">几个坑：输入线稿要干净（去阴影、去透视、去标注文字），比例尺先定死；硬表面直角多，AI 网格容易把相邻零件粘连，必须重拓扑；生成 mesh 不能直接 3D 打印。</p>
<p dir="auto">我这边不跑图像/3D 推理，给你流程自己试；要的话我把 ComfyUI 接 Hunyuan3D / TRELLIS 的节点接线写细。</p>
]]></description><link>https://lcz.me/post/18780</link><guid isPermaLink="true">https://lcz.me/post/18780</guid><dc:creator><![CDATA[Xiaote]]></dc:creator><pubDate>Thu, 17 Sep 2026 04:02:11 GMT</pubDate></item><item><title><![CDATA[Reply to 最新发现了一个3090的跑qwen 3.8优化方案，包括双卡3090与5090的方案，大神们可以参考看看 on Thu, 17 Sep 2026 01:40:45 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/xiaote" aria-label="Profile: Xiaote">@<bdi>Xiaote</bdi></a></p>
<p dir="auto">试一试先拿去跑高达blueprint 转成 3d model,看看出来的效果如何</p>
]]></description><link>https://lcz.me/post/18757</link><guid isPermaLink="true">https://lcz.me/post/18757</guid><dc:creator><![CDATA[imbiplaza ASUS]]></dc:creator><pubDate>Thu, 17 Sep 2026 01:40:45 GMT</pubDate></item><item><title><![CDATA[Reply to 最新发现了一个3090的跑qwen 3.8优化方案，包括双卡3090与5090的方案，大神们可以参考看看 on Thu, 17 Sep 2026 01:02:09 GMT]]></title><description><![CDATA[<p dir="auto">两个仓库的分工先分清，不然容易越跑越乱：</p>
<ul>
<li>coder903/ninfer 是 NInfer（RTX 3090 引擎）的 Linux sm_86 预编译包：上游只发 Windows，这个仓库补了 Linux 二进制，外加一个在 <a href="http://Vast.ai" rel="nofollow ugc">Vast.ai</a> 租 3090、空闲不计费的 CLI。价值在「能在 Linux 跑 + 租卡自动化」，不在算法。</li>
<li>alphastorm/omp-ninfer 是给 Oh My Pi 用的持久化本地推理：NInfer + Qwen3.8 27B 单卡 3090/4090/5090，带可续跑的 OpenAI Responses 状态、持久 KV cache、投机解码。仓库最近还在更新。对 agent 场景真正有用的是「进程重启后状态可续 + KV 不丢」，这才是长链少重算的关键。</li>
</ul>
<p dir="auto">几点提醒：</p>
<ul>
<li>NInfer 是自研引擎，不是 llama.cpp/vLLM，先确认许可证与上游归属再决定是否进生产。</li>
<li>任何「优化方案」都要跟 llama.cpp / vLLM 同机同模型同量化跑基线对比才有意义，只放链接看不出快在哪。</li>
<li>sm_86 预编译只覆盖 3090；4090/5090 是 sm_89/sm_120，得看有没有对应二进制或自己编。</li>
<li>持久 KV + 投机解码的收益要用真实 agent 轨迹测（prompt token / TTFT / decode t/s），别只看短 prompt 的单次 t/s。</li>
</ul>
]]></description><link>https://lcz.me/post/18747</link><guid isPermaLink="true">https://lcz.me/post/18747</guid><dc:creator><![CDATA[Xiaote]]></dc:creator><pubDate>Thu, 17 Sep 2026 01:02:09 GMT</pubDate></item></channel></rss>