跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场 App
朱晓宇朱

朱晓宇

@朱晓宇
取消关注 关注
关于
帖子
4
主题
3
分享
0
群组
0
粉丝
0
关注
0

帖子

最新 最佳 有争议的

  • 【首测】RX 6750 GRE 10G(gfx1031/RDNA2)跑 Qwen3.8-27B:免 ROCm Vulkan 全显存 + 投机解码翻车实录
    朱晓宇朱 朱晓宇
    LLM讨论区 amd qwen-27b llama.cpp

    TL;DR

    1. gfx1031 免补丁:llama.cpp 主线 Vulkan 构建(b11146)直接点亮,不需要 ollama-for-amd 换库,不需要 HSA 伪装
    2. IQ2_XS 全显存:GSQ-RCO 2.31bpw(7.83GiB)塞进 10G 显存,pp512 130.7 t/s / tg128 14.4 t/s,服务器实跑 9.7-9.8 t/s
    3. 128K 上下文无衰减:KV q8_0 塞下 128K(fit 警告但能跑),生成速度和 16K 完全一致
    4. 投机解码翻车实录:draft-mtp 只有 +12%(接受率 76-94%),ngram-map-k4v 负收益(-7%)——RDNA2 没有 WMMA,投机验证开销吃不消,和 RDNA3 的 +53% 完全相反,老卡用户请直接关投机
    5. KVMem 无缘:目前是 HIP fork 专用,主线 Vulkan 构建没有,RDNA2 用户暂时用不了
    6. 必挂 froggeric/Qwen-Fixed-Chat-Templates v22:官方模板 OpenAI 字符串工具参数直接 TypeError、enable_thinking=false 崩溃——接 DSH/Cline 前必须换

    硬件

    项 配置
    CPU AMD Ryzen 7 5700X(8C16T)
    内存 32GB DDR4-3200 双通道
    显卡 RX 6750 GRE 10G(gfx1031 / RDNA2 / 320GB/s)
    系统 Windows 11 专业版
    引擎 llama.cpp b11146 官方 Vulkan 构建(vulkan-x64.zip)

    模型与加载参数

    模型: Qwen3.8-27B GSQ-RCO IQ2_XS(2.3125 bpw,7.83 GiB,ISTA-DASLab)
          对照组: huihui-ai 去审查版 Swift-1.5-GSQ-RCO-IQ2_XS(同量化,速度无差异)
    llama-bench: -ngl 99 -fa 1 -ctk q8_0 -ctv q8_0
    服务器:      -c 16384/131072 -np 1 --jinja
    

    实测数据

    测试 结果
    llama-bench pp512 130.73 ± 0.25 t/s
    llama-bench tg128 14.40 ± 0.01 t/s
    服务器实跑生成 @16K 9.8 t/s
    服务器实跑生成 @128K 9.7 t/s(无衰减)
    服务器 prompt 处理 @128K 29.7 t/s

    投机解码 A/B(同题实测)

    方案 草稿接受率 实际生成速度 结论
    裸跑 — 9.8 t/s 基线
    --spec-type ngram-map-k4v 46-54% 9.1 t/s 负收益
    --spec-type draft-mtp(MTP文件) 76-94% 10.6-11.0 t/s +12%

    分析:RDNA2 没有 WMMA,投机验证的逐 token 成本远高于 RDNA3。7900XTX 大佬们实测 ngram +53% 的参数,搬到老卡上直接反转。draft-mtp 靠 94% 的高接受率勉强保住正收益,但别指望 RDNA3 那种翻倍。

    对照参考(同级别卡)

    • RTX 3080 10G:Qwen3.6-27B Q4_K_M + MTP = 32 t/s @ 65K(CUDA i-quant kernel 优势)
    • 5700X 同款 CPU + 7900XTX 24G:IQ3_S 128K KV int8 = 稳定 30 t/s(坛友实测)
    • 本卡带宽理论上限:320GB/s ÷ 8.4GB ≈ 38 t/s,实际只吃到 38%——瓶颈在 Vulkan 的 IQ2 反量化 kernel 走 ALU

    给同卡兄弟的操作清单

    1. 官方 Vulkan zip 解压即用,显卡零配置
    2. 模型选 GSQ-RCO IQ2_XS(7.83G 全显存),别碰 Q4_0(Qwen3.8 系思考死循环,坛友已踩)
    3. 必换 froggeric v22 聊天模板
    4. 采样参数用官方表:思考 temp 1.0/top_p 0.95/top_k 20;Instruct temp 0.7/top_p 0.80/presence 1.5
    5. Agent 用途(DSH/Cline):显式带 temperature,投机只开 draft-mtp,工具调用密集段关掉
    6. 服务器一定加 -np 1:默认 4 槽会撑爆 10G 显存导致部分层回退 CPU(速度直接腰斩再腰斩)

    遗留问题

    • Vulkan 的 IQ2 kernel 效率(38% 带宽利用率)啥时候能优化到 CUDA 水平
    • KVMem 什么时候能进主线支持 Vulkan
    • 等 Qwen3.8 出 8-14B 档,老卡用户能吃到全量化档位

    (数据均为本机实测,环境如上,欢迎同卡玩家复现对拍)

    -- 6750 GRE 开荒首发,数据无修饰

  • 登录

  • 登录或注册以进行搜索。
  • 第一个帖子
    最后一个帖子
0
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组