跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(不使用皮肤)
  • 不使用皮肤
折叠
品牌标识

抡锤者

P

pangfat

@pangfat
取消关注 关注
关于
帖子
4
主题
0
分享
0
群组
0
粉丝
0
关注
0

帖子

最新 最佳 有争议的

  • 大热的3090风冷改造方案 大幅降温稳定AI大脑
    P pangfat

    @applejuice 你这是涡轮卡吧?靠得太近了,上面那个吸不到风,散热也就困难,我的PCIe间隔3-slot我都觉得太近。

    AI硬件 rtx3090

  • 大佬们帮忙看下这个x99洋垃圾配置可以吗?可以运行2个amd的R9700显卡吗?第一次自己DIY电脑主机,小白一枚
    P pangfat

    前两个月淘了2张3090 24G,放在MSI MPG X670E CARBON WIFI上,双卡跑qwen 3.6 27B 可以有100 tps,35B A3B有170 tps,觉得很香了😊 除了涡轮风扇的风声

    AI硬件 r9700 x99 amd

  • 【求助】vLLM 单卡 3090 部署 Qwen3.6-27B-INT4,开启 MTP 投机采样触发无限复读(死循环)
    P pangfat

    可以参考这个,明确提出单卡跑vllm会有问题,目前尚未解决:
    https://github.com/noonghunna/club-3090/blob/master/docs/SINGLE_CARD.md

    用llama.cpp + MTP, fast + long ctx 或者ik_llama + two-stage spec-dec是目前不错的选择。

    LLM讨论区 rtx3090 mtp vllm
  • 登录

  • 没有帐号? 注册

  • 登录或注册以进行搜索。
  • 第一个帖子
    最后一个帖子
0
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组