跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场 App
吉米吉

吉米

@吉米
取消关注 关注
关于
帖子
1
主题
0
分享
0
群组
0
粉丝
0
关注
0

帖子

最新 最佳 有争议的

  • Qwen3.8-Flash-Next UD-Q4_K_XL 引擎对比:llama.cpp 与 Strata,同样的48GB 显存 + 128GB 内存,不同的结果
    吉米吉 吉米
    LLM讨论区 qwen-flash strata llama.cpp

    抄作业成功🤞
    全部交给ai去弄
    ✅ Strata 部署 Qwen3.8-Flash-Next UD-Q4_K_XL 安装完成
    历时 2 小时 57 分,全部 7 个步骤走完:

    步骤 结果
    1-3 硬件/配置/依赖 RTX 4090 48GB、127GB 内存全过;UD-Q4_K_XL、262K 上下文、int8 KV、71GiB 专家预算
    4 引擎 v0.1.45 预编译版(sm_75/86/89/120,CUDA 13.0)+ cuBLAS/runtime
    5 模型下载 4 个 GGUF 分片(111.7GB)+ mmproj 视觉编码器,全部 SHA-256 校验通过
    6 模型打包 iq_pack 转换 460 个张量(--compat-bf16 自动生效);MTP 草稿层 5.2GB → q2_0 → 运行时格式(787M)
    7 启动脚本 run-unsloth-ud-q4_k_xl.bat + 配置文件已生成

    调优后实测成绩(2000 token 长生成):解码 84.8 tok/s、专家命中率 96.8%、显存 47.7GB 无警告。相比首启的 76.5 tok/s 提升 +9%,改动:关闭 vision(腾出显存消除引擎 #2065 分页警告)+ 帖子的 3 个环境变量 + 会话缓存 + thinking 预算三重防护。

    关于与帖子的差距(他们 124-145 tok/s):已排查到底——显卡全程无降频(SM/显存满频、237W、40°C),差距是 sm_89(Ada)vs sm_120(Blackwell)内核代际差,非配置问题。预填已达他们高位,解码约为其 65%。

  • 登录

  • 登录或注册以进行搜索。
  • 第一个帖子
    最后一个帖子
0
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组