最新发现了一个3090的跑qwen 3.8优化方案，包括双卡3090与5090的方案，大神们可以参考看看

[Prio]

RTX3090:https://github.com/coder903/ninfer

3090-5090:https://github.com/alphastorm/omp-ninfer

[Xiaote]

两个仓库的分工先分清，不然容易越跑越乱：

• coder903/ninfer 是 NInfer（RTX 3090 引擎）的 Linux sm_86 预编译包：上游只发 Windows，这个仓库补了 Linux 二进制，外加一个在 Vast.ai 租 3090、空闲不计费的 CLI。价值在「能在 Linux 跑 + 租卡自动化」，不在算法。
• alphastorm/omp-ninfer 是给 Oh My Pi 用的持久化本地推理：NInfer + Qwen3.8 27B 单卡 3090/4090/5090，带可续跑的 OpenAI Responses 状态、持久 KV cache、投机解码。仓库最近还在更新。对 agent 场景真正有用的是「进程重启后状态可续 + KV 不丢」，这才是长链少重算的关键。

几点提醒：

• NInfer 是自研引擎，不是 llama.cpp/vLLM，先确认许可证与上游归属再决定是否进生产。
• 任何「优化方案」都要跟 llama.cpp / vLLM 同机同模型同量化跑基线对比才有意义，只放链接看不出快在哪。
• sm_86 预编译只覆盖 3090；4090/5090 是 sm_89/sm_120，得看有没有对应二进制或自己编。
• 持久 KV + 投机解码的收益要用真实 agent 轨迹测（prompt token / TTFT / decode t/s），别只看短 prompt 的单次 t/s。

[imbiplaza ASUS]

@Xiaote

试一试先拿去跑高达blueprint 转成 3d model,看看出来的效果如何

[Xiaote]

高达蓝图转 3D，先说结论：单张线稿直接喂 image-to-3D，只能出「大形占位」，分件、可动关节、刻线/贴纸基本全丢，别期待能直接上打印机或进引擎。

可跑的最小流程：

1. 蓝图先转正交多视图（front/side/back/top）。单视图信息不够，模型猜不出背面和厚度；用你的 blueprint 做 ControlNet/lineart 约束，生成同一机设的一致多视图，这一步质量决定最终上限。
2. 多视图 → mesh：Hunyuan3D-2.1 / TRELLIS / TripoSG / InstantMesh 这类多视图重建。双 3090 跑 Hunyuan3D-2.1 的量化/低显存模式够用，单卡也行。
3. 后处理：去背景杂点 → 重拓扑（Instant Meshes / Quad Remesher）→ UV + 法线烘焙 → 按材质分块。做完这步才能谈「像不像」。
4. 要分件/可动：AI 出的是静态融合网格，关节得自己切。当底模进 Blender/CAD 重新分件加关节，或者干脆用参数化 CAD 从头建，AI 只出参考三视图。

几个坑：输入线稿要干净（去阴影、去透视、去标注文字），比例尺先定死；硬表面直角多，AI 网格容易把相邻零件粘连，必须重拓扑；生成 mesh 不能直接 3D 打印。

我这边不跑图像/3D 推理，给你流程自己试；要的话我把 ComfyUI 接 Hunyuan3D / TRELLIS 的节点接线写细。

[imbiplaza ASUS]

@Xiaote

我是用qwen3.8 分析 blueprint 然后丢进blender，看看行得通吗

[stxpnet]

CBS 已经跑完了，关键发现是：INT8 KV cache 在双 3090 上已经有多个社区实测案例。让我拉几个关键原文做精确对比：

从已读取的 CBS 搜索结果和 refs 文件中，我已经掌握了足够的信息来回答这个问题。让我整理一下：

关键发现 1：syv-ai/qwen38-27b-rtx3090 项目（1.4k stars）

这个仓库专门针对单卡 RTX 3090 做了深度优化，使用了 INT8 激活量化 + FP8 KV cache 的组合：

• 基准测试：vLLM 0.27.1，单卡 3090 @ 250W
• 并发 64 请求时达到 ~1,094 tok/s（e2e）
• 使用 int8 activations on the MLP GEMMs（不是全 INT8 KV，而是 MLP 层的 INT8 激活）
• 上下文容量通过 INT8 缓存翻倍

关键发现 2：Reddit 用户 iamMess 的 381 tps 记录

这个用户在 RTX 3090 上跑出了 381 tps 的单请求成绩：

• 使用 INT8 KV cache（从 69,758 tokens 翻倍到 138,696 tokens）
• 组合方案：fp8 KV + int8 lm_head/embed_tokens + fp16 recurrent state + int8 activations
• 需要打 patch 到 vLLM 才能使用 INT8 KV
• 结合 DFlash2 + lookup-augmented drafting 实现高吞吐

关键发现 3：yhavinga/vllm-gemma-int8-kv-rtx3090

这个 fork 实现了完整的 INT8 KV cache 支持：

• 支持 Gemma 2-27B 在 RTX 3090 上运行 128K 上下文
• +87% throughput on memory-bound workloads
• 使用 per-layer scales 进行 INT8 量化
• 是目前最完整的 INT8 KV 实现

关键发现 4：lued/Qwen3.8-27B-INT8-W8A16-MTP

HuggingFace 上的模型卡明确说明：

• 专为 Ampere 架构 GPU（RTX 3090）设计
• 使用 W8A16 量化 + INT8 KV cache
• 保留了 vision tower、thinking control 等特性
• 目标是在没有原生 FP8 tensor core 的硬件上获得最佳性能

结论：

1. INT8 KV cache 在 3090 上确实有实际用例，多个社区用户已经成功部署
2. 主要收益：内存节省约 2×（从 FP8 或 BF16 到 INT8），允许更长的上下文或更高的并发
3. 需要打 patch：上游 vLLM 对 INT8 KV 的支持还在开发中，需要使用 fork 或打 patch
4. 推荐方案：对于双 3090 TP=2 部署 Qwen3.8-27B，可以考虑 W8A8 权重 + INT8 KV cache 的组合

落地建议：

• 短期：关注 vLLM PR #40391 合入后可直接使用 --kv-cache-dtype int8
• 中期：使用 yhavinga 的 fork 测试 INT8 PTH
• 长期：等待上游正式支持后一键切换

本文由我的QWEN 3.6 35B驱动HEMMES，在和我聊天的时候深挖出来的。希望对3090玩家有所帮助

[Xiaote]

行得通，但先把分工摆正：Qwen3.8 给不了你网格，它能做的是把蓝图变成「结构化规格 + Blender 脚本」，不是图直接变模型。

能落地的三种用法：

1. 读图出规格：让它把蓝图上的零件、标注、大致尺寸、朝向整理成 JSON/表格，你按这个建模，比人对着线稿记少犯错。
2. 生成 bpy 脚本搭 blockout：用参数化基本体（box/cylinder/bevel/loft）把外形和分件搭出来。高达这种硬表面，参数化 blockout 比 image-to-3D 干净，尺寸可控、零件天然分离。
3. 写几何节点 / 修改器链：mirror、bevel、boolean 这类重复结构让它批量生成，你只调参。

别指望的部分：单张图猜不出背面、厚度和内部结构；线稿有透视或遮挡它会编；曲面和刻线给不出正确拓扑。所以 Qwen 负责规格、脚本、批处理，mesh 细节和分件收口还得在 Blender 里手工做。

建议先跑通一个零件：Qwen 出正交三视图 + 零件表 → 手搭 1–2 个零件的 blockout 验证尺寸链 → 再把重复结构交给脚本复制。一个零件顺了再放量。

[Prio]

@stxpnet 感谢大佬的测试