跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场 App
San HanS

San Han

@San Han
取消关注 关注
关于
帖子
3
主题
1
分享
0
群组
0
粉丝
0
关注
0

帖子

最新 最佳 有争议的

  • 单张 RTX 5060 Ti Ubuntu 上运行 Qwen3.8-Flash-Next(UD-Q4_K_XL,192K 上下文)的完整调优记录
    San HanS San Han
    LLM讨论区 rtx5060 qwen ubuntu

    Basalt 调优报告 — 2026-11-12

    本机在单张 RTX 5060 Ti 上运行 Qwen3.8-Flash-Next(UD-Q4_K_XL,192K 上下文)的完整调优记录:
    从 23 t/s 的基线到 55 t/s 的最终结果,以及调优过程中对内存与磁盘行为的两个有趣发现。


    1. 硬件与软件

    组件 规格
    CPU 2 × Intel Xeon E5-2673 v3 @ 2.40 GHz(12 核 × 2,共 48 线程,2 个 NUMA 节点;无 AVX-512,专家内核走 AVX-2)
    内存 125.7 GiB
    GPU NVIDIA RTX 5060 Ti 16 GB(Blackwell / sm_120,驱动 580.178.04)
    磁盘 TEAM T253512GB,512 GB SATA SSD
    系统 Ubuntu 24.04,内核 7.0.0-42-generic,x86_64

    软件:Basalt 引擎 0.3.2(2026-11-08 从源码构建)+ Python server(serve/),在 127.0.0.1:8080 提供 OpenAI / Anthropic / Responses 三种 API,basalt-vision sidecar 负责图像输入。

    2. 模型信息

    Qwen3.8-Flash-Next(MoE)— UD-Q4_K_XL 量化包

    • 模型文件 models/Qwen3.8-FN-UD-Q4_K_XL.basalt:115.3 GB(107.4 GiB),.basalt v2 格式
    • 加载:76.9 GiB / 189 s —— 显存专家层 12.9 GiB + 内存专家层 64.0 GiB,全部专家驻留(无 SSD 冷层)
    • 运行配置:上下文 192,000,KV 缓存 q4_0(>32K 部分弹性伸缩),spec 8 投机解码,grammar 约束输出,单槽并发

    3. 调优过程

    当天日志显示:60–80K 上下文档位解码只有 ~23 t/s,专家缓存命中率仅 50%,且前缀恢复成本随深度上升。对比 Strata 的 192K 日志(0.1.59,STRATA_ROUTE_TAIL_SKIP=7)后发现 Basalt 缺少这几个开关,逐一实测(每次用 --restart 重启服务端,按相同深度分段对比):

    配置 60K+ 深度解码 专家命中率 结论
    无开关(基线) 23 t/s ~50% 起点
    --route-tail-skip 7 27.5 t/s(+20%) — 保留
    --route-tail-skip 7 + --route-prior 1.5 55 t/s(约 2 倍) 85%+ ✅ 核心收益
    --route-prior 1.5 + --relaxed-drafting 0.5 47 t/s 85.5% ❌ 变慢,已移除

    各参数要点:

    • --route-tail-skip 7:跳过权重排名靠后、且无 GPU 层持有的专家——这台"会 miss 专家的卡"正是它的设计目标。
    • --route-prior 1.5(本次最大收益):被持有的专家在选择时相当于概率放大 e^1.5 ≈ 4.5 倍,miss 大幅减少。官方质量门实测过 1.5/7 组合(PPL 代价个位数百分比),λ 往上(16)质量崩塌式变差,1.5 是文档推荐的甜点值。
    • --relaxed-drafting 0.5:更激进地接受草稿 token;实测 55 → 47 t/s(工具调用型请求不吃这个 flag),已移除。
    • expert-profile-save(data/profiles/qwen4exp-192k.prof,196 KB):专家适配结果每 10 分钟落盘,重启后热专家排布免费暖启动。

    4. 最终结果

    最终配置(写入 basalt_config_192k.json):

    "route-tail-skip": 7,
    "route-prior": 1.5,
    "expert-profile-save": "data/profiles/qwen4exp-192k.prof"
    

    对比强调:从基线 23 t/s → 稳态 50–55 t/s,深度解码提升约 2.4 倍。UI 仪表盘现场验证:76.6K 上下文时解码 52.5 tok/s、单请求峰值 71.3 t/s,专家命中率 87%;会话首次突破 148K 真实上下文,50+ t/s,约为同深度 Strata(0.1.59)的两倍——"深度衰减"问题彻底消失。

    5. 有趣的发现

    5.1 模型文件为什么比加载量大 30 GiB?

    直接解析文件头(18 个 section):71.7 GiB 专家全部进入显存+内存层;差额主要在 gguf 段(32.0 GiB)里的 PLE n-gram 表 per_layer_token_embd.weight(IQ4_NL,26.8 GiB)。Basalt 默认 --ple-io direct:这张表留在 SSD 上,每次生成 token 按 4 KiB 行级直读,不进引擎内存。另有 0.85 GiB 的 vision 投影器由 sidecar 原位读取。所以"文件 107.4 GiB、加载 76.9 GiB"是设计行为,不是异常。

    5.2 磁盘读写的真凶

    运行中的 Basalt 进程 4 小时磁盘读 ~25.6 GiB(约 6 GB/h)、写仅 3 MB(profile 落盘)——读全部来自 PLE 直读。对照之下这正是 Strata 运行时无磁盘读、且内存多占 ~28 GiB 的原因:Strata 默认在 RAM 装得下时把整张 n-gram 表锁进 RAM(STRATA_PLE_AUTO_RAM),也解释了之前"Strata 113 GiB vs Basalt 84.8 GiB"的差值。对 SSD 寿命而言读不占 TBW 写入预算,~50 TB/年的读率完全可忽略;若想消除这部分读流量,可改 --ple-io ram(本机还有 ~39 GiB 余量可用)。


  • 单张 RTX 5060 Ti Ubuntu 上运行 Qwen3.8-Flash-Next(UD-Q4_K_XL,192K 上下文)的完整调优记录
    San HanS San Han
    LLM讨论区 rtx5060 qwen ubuntu

    @kos-or
    现在偶尔就会破100 tok/s. Basalt面板上显示 "Single slot · Best 113.8 tok/s"

  • 登录

  • 登录或注册以进行搜索。
  • 第一个帖子
    最后一个帖子
0
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组