跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场 App
jerry dengJ

jerry deng

@jerry deng
取消关注 关注
关于
帖子
7
主题
0
分享
0
群组
0
粉丝
0
关注
0

帖子

最新 最佳 有争议的

  • 【纯闲着】2700 块的洋垃圾跑 QFN:MI50 16G×2 + 128G DDR3,从装系统到 54 tok/s,这可能是目前价格最低的洋垃圾方案。
    jerry dengJ jerry deng
    LLM讨论区 amd rocm 多卡部署

    我只能说太牛了,这套调优其实就是“把每一块硬件的脾气摸透,让它们各司其职”:

    1. 贵的显存跑计算,便宜的内存当仓库:把需要高频计算的核心零件死死锁在极速的显存里,把体积庞大但只需要查询的辅助数据塞进便宜的内存里,用最少的钱买到了最大的容量。
    2. 每次只动一小部分,不搞全员大集合:利用 MoE 架构“激活小部分”的特点,每次生成只调用一小撮专家,把原本几十个人才能干的活压缩到几个人干,直接避开了内存搬运速度慢的死穴。
    3. 干掉假把戏,开关全拉满:把软件里那些表面开着、实际在偷懒的机制通通揪出来,同时把隐藏在底层的加速开关全部手动打开,不让硬件浪费哪怕一微秒。
    4. 耐心等机器“热身”好:就像跑马拉松前要热身一样,刚开机数据还没理顺,等它空转跑个几分钟、把缓存全部命中之后,性能就能稳稳冲到最高点。
  • 登录

  • 登录或注册以进行搜索。
  • 第一个帖子
    最后一个帖子
0
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组