跳转至内容
  • 首页
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(不使用皮肤)
  • 不使用皮肤
折叠
品牌标识

抡锤者

S

sospda

@sospda
德高望重
取消关注 关注
关于
帖子
38
主题
6
分享
0
群组
1
粉丝
0
关注
0

帖子

最新 最佳 有争议的

  • R9700 ai pro 32G 跑大模型还是很给力的,速度也不错
    S sospda

    Qwen3.6 35B A3B UD Q6模型

    96K上下文缓存,

    67.28 token/s
    微信图片_20260527213647_19_2.jpg

    AI硬件 amd r9700

  • R9700 ai pro 32G 跑Qwen3.6 27B q6k 速度实测
    S sospda

    (2222.jpg

    Q6版本, 如果是Q4 速度会更快一些

    投机采样 32.8tokens/s
    正常模式 约20tokens/s, 忘记拍照了,大约21 左右

    AI硬件 r9700

  • r9700 32G速度总算达标了,27B MTP,能上50t/s
    S sospda

    Q4_K_M · 1500 tokens 测试结果

    | 指标        | 值                                 |
    |-------------|------------------------------------|
    | 生成速度    | 53.5 tok/s 🚀                      |
    | 总耗时      | 28.0s                              |
    | MTP 接受率  | 60.8%(1592 draft / 968 accepted) |
    | Prompt 处理 | 115.4 tok/s(prompt cache 命中)   |
    

    2026-06-03 06-47-09屏幕截图.png

    draft=3

    AI硬件 r9700 mtp

  • R9700 ai pro 32G 跑Qwen3.6 27B q6k 速度实测
    S sospda

    Qwen3.6-27B 词元生成速度测试

    | 指标     | 值                     |
    |----------|------------------------|
    | 生成词元 | 559 个(全文自然结束) |
    | 耗 时    | 13.82 秒               |
    | 速 度    | 40.44 tok/s            |
    
    比上次的 31 tok/s 还快了一些,可能是因为长上下文下 MTP 的并行预测效率更高。
    

    用MTP版本,速度更快。

    4489fb00-39c3-4dfd-821e-6edbb42befe4-image.jpeg

    AI硬件 r9700

  • r9700 32G速度总算达标了,27B MTP,能上50t/s
    S sospda

    好的,谢谢。不同框架都试了,llama,ollama,vllm,lm stduio,然后35b,32b,30b,27b ,然后带MTP,然后q4、q5、q6, 说试了20多个模型感觉说少了,哈哈。一直没时间找测试的软件。自己瞎测一个,感觉不好用的就pass了,也没有调过参数。后面才知道参数对速度影响也挺大的。现在基本确定27b mtp版本的,推理能力和响应速度都不错。

    AI硬件 r9700 mtp

  • 版主7900XTX 24G 蓝宝石 白金版 折腾日记。折腾过程从入手到成功全过程。部分版主个人开发架构分享。
    S sospda

    用rocm比vulkan聪明一点,7个答案都给出了。计算时间差不多。
    rocm也是q5,但是k q5,v q4

    让我逐步推理:
    五个位置 1-5(从左到右),条件:

    1. A 不在两端 → A ∈ {2,3,4}
    2. B 在 C 左边且不相邻 → B < C,C - B ≥ 2
    3. D 和 E 相邻 → |D - E| = 1
    4. E 不在最右 → E ≠ 5
    5. C 不在最左 → C ≠ 1
      关键推导:
      C 只能在 3 或 5:
      • C=2:B < 2 且 2-B ≥ 2 → B ≤ 0,不可能
      • C=4:B ≤ 2,但无论怎么排,D和E都无法相邻
      • C=5:B ≤ 3,可行
      • C=3:B=1,也可行
      经穷举,共有 7 种满足条件的排列:
      编号 排列
      1 D, E, B, A, C
      2 E, D, B, A, C
      3 B, D, E, A, C
      4 B, E, D, A, C
      5 B, A, D, E, C
      6 B, A, E, D, C
      7 B, A, C, E, D
      结论:题目条件不足以确定唯一顺序。 7 种排列都满足全部 5 个条件。
      如果你确认题目没有遗漏条件,可以告诉我,我帮你再检查一下是否某个条件我理解有误。
    AI硬件 7900xtx

  • 换了好几个模型,有些简单问题AI就是很难回答上来
    S sospda

    @johnnybegood 说:

    @sospda 同样一辆车, 有的人跑赛道是10分钟, 有的人跑同样的赛道是5分钟。 有的人抱怨这个车真是垃圾,太难操控。 有的人精进自己的能力,去熟悉这辆车的操作,把它的性能发挥到最大。 智人跟猴子最大的不同,就是会使用工具,现代人跟智人的不同,就是现代人知道如何更好地去使用工具。

    说那么多有啥用,你测试过没?要多久?如果没有试过,可以试试。

    同一个问题, 不同的模型反应速度不同, 足以证明在该问题下不同的模型的智能程度。

    也说明了,在该问题下,有些模型还有进步空间。

    这有什么问题吗?

    我发现了这一现象,提出来,不代表我就不去提升我的技能。

    这是两码事。

    LLM讨论区

  • R9700 ai pro 32G 跑Qwen3.6 27B q6k 速度实测
    S sospda

    65656.png

    vllm也能跑通

    AI硬件 r9700

  • 7900xtx vs r9700 llm速度对比
    S sospda

    2222.jpg

    R9700+ 27B

    AI硬件 7900xtx r9700
  • 登录

  • 没有帐号? 注册

  • 登录或注册以进行搜索。
  • 第一个帖子
    最后一个帖子
0
  • 首页
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组