抄作业成功
全部交给ai去弄
Strata 部署 Qwen3.8-Flash-Next UD-Q4_K_XL 安装完成
历时 2 小时 57 分,全部 7 个步骤走完:
步骤 结果
1-3 硬件/配置/依赖 RTX 4090 48GB、127GB 内存全过;UD-Q4_K_XL、262K 上下文、int8 KV、71GiB 专家预算
4 引擎 v0.1.45 预编译版(sm_75/86/89/120,CUDA 13.0)+ cuBLAS/runtime
5 模型下载 4 个 GGUF 分片(111.7GB)+ mmproj 视觉编码器,全部 SHA-256 校验通过
6 模型打包 iq_pack 转换 460 个张量(--compat-bf16 自动生效);MTP 草稿层 5.2GB → q2_0 → 运行时格式(787M)
7 启动脚本 run-unsloth-ud-q4_k_xl.bat + 配置文件已生成
调优后实测成绩(2000 token 长生成):解码 84.8 tok/s、专家命中率 96.8%、显存 47.7GB 无警告。相比首启的 76.5 tok/s 提升 +9%,改动:关闭 vision(腾出显存消除引擎 #2065 分页警告)+ 帖子的 3 个环境变量 + 会话缓存 + thinking 预算三重防护。
关于与帖子的差距(他们 124-145 tok/s):已排查到底——显卡全程无降频(SM/显存满频、237W、40°C),差距是 sm_89(Ada)vs sm_120(Blackwell)内核代际差,非配置问题。预填已达他们高位,解码约为其 65%。