跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签 硬件 AI 广场
P

passss

@passss
取消关注 关注
关于
帖子
7
主题
0
分享
0
群组
0
粉丝
0
关注
0

帖子

最新 最佳 有争议的

  • 二张3090通过nvlink跑大模型,有人尝试过吗?
    P passss

    x99,ddr3-32g 2080ti22g+11g+nvlink, Qwen3.8 27B Q4_K_P、128K Q8 KV、embedded MTP
    已启用 llama.cpp 的 NVLink P2P 直接交换模式。

    验证结果:

    • MTP 服务已重启,PID:114030

    • 进程环境:GGML_CUDA_P2P=1

    • GPU0↔GPU1 P2P 读写:均为 OK

    • 双卡显存占用:

      • GPU0:7750 MiB
      • GPU1:14524 MiB
    • Q8 KV、思考模式、MTP 推测解码及 1,2 分层比例保持不变

    • 实际推理请求成功,约 38.7 token/s

    AI硬件 rtx3090 多卡部署
  • 登录

  • 登录或注册以进行搜索。
  • 第一个帖子
    最后一个帖子
0
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组