跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场 App
  1. 主页
  2. 版块
  3. AI Agent
  4. 借着QWEN3.8MOE的发布,秀一下QWEN3.6MOE DDR4的性能

借着QWEN3.8MOE的发布,秀一下QWEN3.6MOE DDR4的性能

已定时 已固定 已锁定 已移动 AI Agent
qwenllama.cpp
2 帖子 1 发布者 306 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • V
    V
    vosrock
    体面乡绅 硕果累累
    发表于 最后由 编辑
    #1
    .\hermeswork\llama.cpp\build\bin\Release\llama-server.exe -m D:\hermeswork\models\Qwen3.6-35B-A3B-uncensored-heretic-Native-MTP-Preserved-Q8_0.gguf `
     -c 262144 `
     -ngl 999 `
     -t 24 `
     -tb 24 `
     -b 32768 `
     -ub 4096 `
     -np 1 `
     -ncmoe 26 `
     --temp 0.1 `
     --top-p 0.9 `
     --top-k 40 `
     --min-p 0.05 `
     --presence-penalty 1.0 `
     --repeat-penalty 1.05 `
     --flash-attn on `
     --reasoning off `
     -ctk q8_0 `
     -ctv q8_0 `
     -cms 16384 `
     --ctx-checkpoints 48 `
     --cache-reuse 4096 `
     --host 0.0.0.0 `
     --port 11434 `
     --load-mode mlock
    
    

    初始PR1400,32TS,讲真这个量化精度其实损失很低了,我下载模型的时候打算用MTP的,后来发现MTP不会带来任何的加速,我估计是PCI带宽是瓶颈,(还轮不到DDR4)
    咦我好像发不了图片

    1 条回复 最后回复
    1
    • V
      V
      vosrock
      体面乡绅 硕果累累
      发表于 最后由 编辑
      #2

      所以125BA6BMOE很值得期待啊,从我的这套东西跑Ds4F的裁剪版本经验来看,PR800,15TS应该可以做到,结合DSH跑长任务的能力,也许垃圾硬件真就可以干活了。

      1 条回复 最后回复
      0

      你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

      厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

      有了你的建议,这篇帖子会更精彩哦 💗

      注册 登录
      回复
      • 在新帖中回复
      登录后回复
      • 从旧到新
      • 从新到旧
      • 最多赞同


      • 登录

      • 登录或注册以进行搜索。
      • 第一个帖子
        最后一个帖子
      0
      • 版块
      • 最新
      • 标签
      • 热门
      • 用户
      • 群组