跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场 App
空语空

空语

@空语
取消关注 关注
关于
帖子
24
主题
4
分享
0
群组
0
粉丝
0
关注
0

帖子

最新 最佳 有争议的

  • 7900 XTX单卡:prefill 2086→3205,decode 64.7→96.3
    空语空 空语
    AI硬件 7900xtx strata qwen

    7900 XTX 跑 125B MoE:prefill 2086→3205,decode 64.7→96.3

    一张 Radeon RX 7900 XTX(24 GB),跑 Qwen3.8-Flash-Next 125B MoE,128K 上下文。

    官方预编译引擎 prefill 2086 / decode 64.7,调优后 prefill 3205 / decode 96.3。

    +54% 和 +49%。
    ———————人话分界线其他都是AI写的————————
    说明一下这个2086/64.7是我昨天第一次调过后的成绩,strata开箱直接用的prefill肯定没有2086,我记得好像是不到1000还是1000多。总之就是人在一边看,AI自己干,调优全过程都是deepseek flash免费模型给我做的,我就在一边抽鞭子来着。
    ———————人话分界线其他都是AI写的————————

    环境

    GPU Radeon RX 7900 XTX,24 GB,gfx1100(RDNA3)
    CPU Intel i7-13700KF
    内存 64 GB
    系统 Windows 11
    模型 Qwen3.8-Flash-Next(abliterated),125B MoE,IQ3_S
    上下文 131072
    服务 strata,OpenAI / Anthropic 兼容 API

    测试协议:27549 token prompt / 400 token 输出 / 各 3 轮。


    本来是

    官方组合:strata 预编译引擎 0.1.54 + hipBLASLt 100500 + 32 行社区调优表 + --lookup-chain 3 + --host-core sibling。

    prefill(三轮) 中位 decode(三轮) 中位
    2095.3 / 2069.1 / 2086.2 2086 65.5 / 64.2 / 64.7 64.7

    27.5K 上下文要 13.2 秒才出第一个字。


    调优措施

    换引擎

    自编译 RDNA3 fork 0.1.43(比官方的 0.1.54 更老,但更快),hipBLASLt 调优表从 100500 换成 100100,和 fork 的 ROCm 对齐。

    38 个环境变量

    矩阵乘

    STRATA_HIP_WMMA=1              STRATA_SELECT_WMMA=1
    STRATA_RDNA_MMVQ_WAVE=3        STRATA_PF_F16=2
    

    Prefill 路径

    STRATA_PF_GEMM=1               STRATA_PF_FUSED=1
    STRATA_PF_PAD=1                STRATA_PF_GROUP_RES=1
    STRATA_PF_HCDOWN=1             STRATA_PREFILL_AUTO_MAX=32768
    STRATA_PREFILL_CPU_SHARE=auto  STRATA_PREFILL_CPU_SHARE_MAX=6144
    STRATA_PREFILL_RING=192        STRATA_PREFILL_MMQ_TILE_ROWS=32
    

    GDN(线性注意力)融合

    STRATA_GDN_HEAD=1        STRATA_GDN_CHUNKED=1
    STRATA_GDN_CHUNK_GDV=0   STRATA_GDN_PP=1
    STRATA_GDN_CONVL2=1      STRATA_GDN_NOY=1
    STRATA_FUSE_CONVAB=1
    

    Attention 与 KV

    STRATA_QSA_SPLIT_ATTN=1  STRATA_PA_KLDS=1
    STRATA_PA_FAST=1         STRATA_KV_HOST_DMA=1
    

    调度与流水

    STRATA_QFUSE=1           STRATA_COMBINE_CPU=1
    STRATA_WAIT_FUSE=1       STRATA_ROUTE_PUBLISH=1
    STRATA_GR_INJ_UP=1       STRATA_GR_FUSED=1
    STRATA_STAGER_RING=64    STRATA_HC_UPMIX=1
    STRATA_HEAD_MIX_MULTI=1  STRATA_VERIFY_QDEDUP=1
    STRATA_SH_STREAM=0       GPU_MAX_HW_QUEUES=6
    

    引擎参数

    --lookup-chain 3         --adapt-async 1
    --kv-resident 32768      --ple-io direct
    --ple-row-cache 1048576  --pcie-frac 0
    --mtp-window 4096        --pool-workers 12
    --vram-reserve-mib 1728  --host-core first
    --kv int8                --spec 4
    --spec-min-p 0.5         --max-context 131072
    

    三个关键点

    • STRATA_PREFILL_AUTO_MAX 从默认 12288 提到 32768(官方日志里能看到它自动选了 12288,13K 以上上下文要分两次处理)。32768 是安全上限,65536 会崩。
    • STRATA_RDNA_MMVQ_WAVE=3 —— decode 收益的主要来源。预编译引擎不认这个变量,必须自编译。
    • --host-core first —— fork 不认 sibling,照搬官方配置的写法会启动失败。

    现在是

    prefill decode 相对本来
    3205 96.3 +54% / +49%

    三轮明细:prefill 3317 / 3205 / 3167,峰值 3313(背靠背第 2 轮)。

    更长上下文(54.8K):prefill 3308.8、decode 99.9 —— 上下文翻倍,速度不掉。


    对比

    本来 现在 提升
    prefill @27.5K 2086 3205 +54%
    prefill 峰值 2046 3313 +62%
    decode @27.5K 64.7 96.3 +49%
    prefill @54.8K — 3308.8 —
    decode @54.8K — 99.9 —
    27.5K 首字延迟 13.2 s 8.6 s -4.6 s

    参考:一台 128 GB 内存的 Linux 机器同模型跑 3432 / 100.4,我们这台 64 GB 的 Windows 消费机到 93% / 96%。


    Radeon RX 7900 XTX (gfx1100) / i7-13700KF / 64 GB / Windows 11 / Qwen3.8-Flash-Next abliterated IQ3_S / strata 0.1.43(自编译 RDNA3 fork)


  • 一块勉强可算ai硬件的卡,在我眼中是最美的ai硬件
    空语空 空语
    AI硬件 amd strata

    近十年没有关心过PC硬件,这次又开始装机,最爱A卡是超白金,出3090换了超白金,忽然发现A家还有Radeon VII这张神作,这个设计太顶级了,插在机箱里安静帅气,跑Strata(win下专门改了两天才跑成),100+的prefill和最高15的Decode,不要指望任何编码了,打开聊天窗口,忽然感觉速度不重要了,跟它慢慢聊个32k上下文,感受浪漫极了

    IMG20261102125432.jpg
    IMG20261102125445.jpg
    IMG20261102125518.jpg
    IMG20261102125530.jpg
    IMG20261102125920.jpg
    IMG20261102125932.jpg
    IMG20261102125958.jpg
    mmexport1793595535056.jpg
    IMG20261102130146.jpg
    IMG20261102194319.jpg
    IMG20261102143715.jpg
    IMG20261102143731.jpg
    IMG20261102143746.jpg


  • 7900 XTX单卡:prefill 2086→3205,decode 64.7→96.3
    空语空 空语
    AI硬件 7900xtx strata qwen

    strata-rdna3-poster-AI版.png

  • 登录

  • 登录或注册以进行搜索。
  • 第一个帖子
    最后一个帖子
0
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组