跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场 App
  1. 主页
  2. 版块
  3. LLM讨论区
  4. 【实测】3080-16G移动版-64GRAM 对4个Qwen3.8-Flash-Next模型测试结果摘要

【实测】3080-16G移动版-64GRAM 对4个Qwen3.8-Flash-Next模型测试结果摘要

已定时 已固定 已锁定 已移动 LLM讨论区
rtx3080strata
4 帖子 2 发布者 417 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • PhilipShi2026P
    PhilipShi2026P
    PhilipShi2026
    编写于 最后由 PhilipShi2026 编辑
    #1

    3080-16G移动版-64GRAM 对4个Qwen3.8-Flash-Nex模型t测试结果摘要

    # 结论:P1Gen4-3080-64GRAM对其4个模型测试,表明其可以达到个人AI的移动硬件工作平台基本条件!不必买那些太贵的便携机!

    5. 实测结果

    AP代指wszhoho-qwen3.8-flash-next-strata-bpw392

    5.1 每档均值与极差(引擎口径,t/s)

    模型 64K 96K 128K 160K 192K
    AP-IQ3_XXS(3.9181 bpw) 28.15(26.50 ~ 29.80) 33.40(32.60 ~ 34.20) 34.20(34.20 ~ 34.20) 33.60(33.60 ~ 33.60) 34.00(32.80 ~ 35.20)
    AP-IQ4_XS(4.0890 bpw) 27.10(25.10 ~ 29.10) 35.75(31.50 ~ 40.00) 31.65(30.50 ~ 32.80) 33.35(28.00 ~ 38.70) 30.80(30.70 ~ 30.90)

    5.2 逐档明细

    模型 档位 n prompt tok prefill t/s TTFT 均值 s VRAM 峰值 MiB
    AP-IQ3_XXS 64K 2 66713 / 65506 801.9 51.5 15043
    AP-IQ3_XXS 96K 2 98245 / 98305 759.5 43.1 15043
    AP-IQ3_XXS 128K 2 131080 / 131077 726.0 45.1 15043
    AP-IQ3_XXS 160K 2 163873 / 163855 683.4 47.5 15043
    AP-IQ3_XXS 192K 2 196578 / 196584 670.8 48.9 15043
    AP-IQ4_XS 64K 2 66713 / 65506 773.8 53.8 15047
    AP-IQ4_XS 96K 2 98245 / 98305 722.1 44.5 15047
    AP-IQ4_XS 128K 2 131080 / 131077 717.2 45.6 15047
    AP-IQ4_XS 160K 2 163873 / 163855 642.2 52.3 15047
    AP-IQ4_XS 192K 2 196578 / 196584 662.0 49.5 15047

    5.3 冷启动(repeat=0,单列)

    模型 档位 prompt tok decode t/s prefill t/s TTFT s
    AP-IQ3_XXS 64K 65,545 35.90 806.1 81.4
    AP-IQ4_XS 64K 65,545 32.70 797.8 82.2

    冷启动 decode 反而高于 64K 档均值(因为 64K 档的第一次请求带着刚加载完的冷状态,第二次才 29.8/25.1);用户第一次问 64K 文档应按本表看:TTFT 约 81–82 s,之后 36/33 t/s。

    7. 与其他权重的对比(同一台机器、同一协议)

    权重 bpw 64K 128K 160K 192K 备注
    Alesha-pro-Qwen3.8-Flash-Next-abliterated-GSQ-RCO-Strata-GGUF(261024) ~3.9 40.15 42.55 45.45 39.30 最快,但专家是 IQ2_XS/IQ3_XXS 混合
    jimmy31chen_RVN-Qwen3.8-Flash-Next-Abliterated-Uncensored-IQ3_S(261024) 3.78 30.00 34.25 34.20 32.75 IQ3_S,质量更高
    wszhoho-qwen3.8-flash-next-strata-bpw392_IQ3_XXS(本次) 3.9181 28.15 34.20 33.60 34.00 专家 down 用 IQ4_NL,CPU 反量化更重
    wszhoho-qwen3.8-flash-next-strata-bpw392-IQ4_XS(本次) 4.0890 27.10 31.65 33.35 30.80 4-bit 质量档,专家 IQ4_NL 52% + IQ3_S 45.5%
    • AP 两档在 64K 明显慢于 GSQ IQ3_XXS(28.2/27.1 vs 40.2),在 128K+ 才追到 31–34,这是"更高比特/更重反量化换质量"的直接结果;AP 的卖点是质量(3.92/4.09 bpw、无 2-bit 专家),不是速度。
    • AP-IQ4_XS 与 AP-IQ3_XXS 在本机几乎同速(96K 甚至 IQ4_XS 更快,35.75 vs 33.40),与 README 在 3×2080Ti 上"两档性能基本持平"的观察一致。
    • 跨表注意:GSQ/RVN 的 160K 条目用的是 10-24 的 --spec 4/0.5 + kv-resident 32768;AP 用 --spec 3/0.75。两者不是完全同一套调参,比较时看量级而非最后一位。

    8. 稳定性与资源

    • 22 次请求,0 次失败、0 次重试、0 次服务重启、0 系统事件(System 日志 6008/1001/41,近 12 小时无匹配)。测量窗口 2026-10-25 08:33–08:56。
    • 引擎横幅(AP-IQ3_XXS):expert cache 3872 slots, 7.85 GiB of VRAM;Windows commit: 33.4 GiB left of a 108.2 GiB limit。
    • 引擎横幅(AP-IQ4_XS):expert cache 3550 slots, 7.70 GiB of VRAM;Windows commit: 29.9 GiB left。
    • KV streaming(IQ3_XXS 192K 档):96.70% 的 block 读命中 VRAM,仅 408.3 MiB 从 RAM 读——长上下文下 KV 窗口 32768 足够,瓶颈不在 KV。
    • 显存峰值 15,043 / 15,047 MiB(16,384 MiB 卡,约 92%),与 GSQ/RVN 同量级;GPU 空闲温度 59 °C,无过热降频记录。
    • 启动时间:24–44 s(引擎读 42–44 GB 专家进 RAM),与既有权重一致。
    • AP 两档在 64K 明显慢于 GSQ IQ3_XXS(28.2/27.1 vs 40.2),在 128K+ 才追到 31–34,这是"更高比特/更重反量化换质量"的直接结果;AP 的卖点是质量(3.92/4.09 bpw、无 2-bit 专家),不是速度。
    • AP-IQ4_XS 与 AP-IQ3_XXS 在本机几乎同速(96K 甚至 IQ4_XS 更快,35.75 vs 33.40),与 README 在 3×2080Ti 上"两档性能基本持平"的观察一致。
    • 跨表注意:GSQ/RVN 的 160K 条目用的是 10-24 的 --spec 4/0.5 + kv-resident 32768;AP 用 --spec 3/0.75。两者不是完全同一套调参,比较时看量级而非最后一位。

    2. 测试环境

    2.1 硬件(实测)

    项目 实测值 来源
    机型 LENOVO 20Y4S3XD00(ThinkPad P1 Gen4) Win32_ComputerSystem
    CPU 11th Gen Intel Core i7-11850H @ 2.50 GHz,8C/16T,AVX-512 注册表 / WMI
    内存 63.71 GiB 可见;2×32 GB DDR4-3200(SK Hynix HMAA4GS6AJR8N-XN + DDR432G3200MHz),双通道,3200 MT/s Win32_PhysicalMemory
    GPU NVIDIA GeForce RTX 3080 Laptop GPU,16,384 MiB,sm_86,驱动 596.47 nvidia-smi
    SSD SIX X7400 Pro,NVMe,1,908 GB Get-PhysicalDisk
    OS Windows 11 专业版,Build 22631,x64 Win32_OperatingSystem
    页面文件 C:\pagefile.sys 4,096 MB + D:\pagefile.sys 32,768 MB(固定,初始=最大);commit 上限 99.71 GiB Win32_PageFileUsage / Win32_OperatingSystem
    磁盘余量 😄 26.6 GB;D: 231.4 GB(测前) Get-PSDrive
    时区 Asia/Shanghai(UTC+8) —
    1 条回复 最后回复
    1
    • PhilipShi2026P
      PhilipShi2026P
      PhilipShi2026
      编写于 最后由 编辑
      #2
      此主題已被删除!
      1 条回复 最后回复
      0
      • PhilipShi2026P
        PhilipShi2026P
        PhilipShi2026
        编写于 最后由 编辑
        #3

        老旧便携机ThinkPad P1Gen4-3080-64GRAM,升级内存后可以发挥余热了!如有类似便携机,不妨一试:)

        1 条回复 最后回复
        1
        • Shipo ZoralehuS
          Shipo ZoralehuS
          Shipo Zoralehu
          编写于 最后由 编辑
          #4

          最好还是UBUNTU

          1 条回复 最后回复
          0

          你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

          厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

          有了你的建议,这篇帖子会更精彩哦 💗

          注册 登录
          回复
          • 在新帖中回复
          登录后回复
          • 从旧到新
          • 从新到旧
          • 最多赞同


          • 登录

          • 登录或注册以进行搜索。
          • 第一个帖子
            最后一个帖子
          0
          • 版块
          • 最新
          • 标签
          • 热门
          • 用户
          • 群组