跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场
M

mudfox

@mudfox
取消关注 关注
关于
帖子
3
主题
2
分享
0
群组
0
粉丝
0
关注
0

帖子

最新 最佳 有争议的

  • 双卡R9700 Q8大模型测试
    M mudfox
    AI硬件 r9700 多卡部署 量化

    E5-2682V4处理器,
    DDR4 2400T 32G2,
    华南X99-CH8主板,
    蓝宝石R9700 2(带宽 PCIE 3.016 + PCIE3.0
    8)
    TT 1000W电源。

    单卡:
    9B-Q8-262K上下文,速度 35tps,毕竟模型比较小,没有参考意义。
    35B-A3B-Q8-262K,速度 14tps,显存不够,需要靠内存,所以速度很慢;
    27B-Q8-128K上下文,没开最大上下文,速度 22-25tps;

    双卡:
    35B-A3B-Q8-262K,速度 72tps,提升很大;
    作为对比:

    • PRO5000 48G(3万5,我当初买的价格)+ DDR5 6000 64G,速度 90(上下文满)-140tps(上下文空);
    • PRO6000 96G(10万,我当初买的价格),速度 200tps+;

    27-Q8-262K,速度20tps(变慢了),作为对比,PRO5000 48G ,速度 35-55 tps,PRO6000 ,速度 70tps;

  • 登录

  • 登录或注册以进行搜索。
  • 第一个帖子
    最后一个帖子
0
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组