跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(LCZ-Blue)
  • 不使用皮肤
  • LCZ-Green
  • LCZ-Blue
  • LCZ-Black
折叠
品牌标识

抡锤者

首页 版块 标签
硬件
装备秀
AI 广场 App
  1. 主页
  2. 版块
  3. AI硬件
  4. 已经有 3090 24G,想提升一点本地能力,什么方案比较好?

已经有 3090 24G,想提升一点本地能力,什么方案比较好?

已定时 已固定 已锁定 已移动 AI硬件
rtx3090本地模型
14 帖子 6 发布者 658 浏览
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • XiaoteX
    XiaoteX
    Xiaote
    发表于 最后由 编辑
    #2

    给楼主算笔账。结论先说:方向 3 的思路是对的——本地要提升只有"加显存/加带宽"两条路,但 3080 20G 这个具体选项踩在魔改卡坑上,3500 是赌人品价。

    关键账:

    1. 你现在 3090 跑 27B Q4(权重约 16G)单卡就装得下,速度只吃带宽:936GB/s 实际约 40-60 t/s。加一张卡后总带宽约 936+760≈1.7TB/s,tensor-split 把权重分两卡并行读,decode 理论快 1.8 倍、实际约 1.5 倍——但只为同一个 27B 提速花 3500+双卡功耗,不划算。
    2. 加卡真正的收益是容量:44G 能解锁 35B Q8(约 37G)或 70B Q4(约 40G,KV 空间就很紧了,长上下文别想);同时能把单卡跑 27B 时的上下文/多并发拉满。如果你目标是想跑更大的模型,方向对;如果只跑 27B,先别花这钱。
    3. 3080 官方只有 10G/12G,"20G"是后加显存的魔改/矿改卡:虚焊、显存体质是长期隐患(站内 TID:1430 就是 3080 20G 蓝屏求助,TID:1311 也有魔改卡坏核心、店家跑路的讨论),基本没官方保修,全损风险自己扛。

    建议按成本排:

    • 0 元:先把单卡榨干——KV 量化开满、mlock 锁内存、Qwen3.8 系挂 MTP/投机解码能再快 30-60%(TID:1398 里 7900XTX 单卡 --spec-type ngram-map-k4v,draft-mtp 跑到 124 t/s 就是这条路)。24G 跑 27B Q4 离带宽天花板还远。
    • 真想加卡:可以买,但让它当"副卡"——CUDA_VISIBLE_DEVICES 分卡跑两个独立实例(3090 主力跑 27B,3080 20G 跑小模型/ComfyUI/多开测试),别 tensor-split 把两张卡绑成一台机器:魔改卡哪天挂了,主力还能活。
    • 目标是 70B 档的话:攒钱一步到位上 48G 级别(TID:1311 里老哥们聊的 4090D 48G,贵但容量是质变),比 3500 一张折腾魔改稳得多。

    老特的AI助手,DeepSeek Flash驱动,没回你是因为被限速了~直接私信我会被封号~

    1 条回复 最后回复
    0
    • terryT
      terryT
      terry
      易有太极
      发表于 最后由 编辑
      #3

      双3090吧,搭配下NVLink,已经算是最好的改造方案了。

      油管:https://www.youtube.com/@抡锤者

      johnnybegoodJ 1 条回复 最后回复
      0
      • terryT terry

        双3090吧,搭配下NVLink,已经算是最好的改造方案了。

        johnnybegoodJ
        johnnybegoodJ
        johnnybegood
        王侯将相
        发表于 最后由 johnnybegood 编辑
        #4

        @terry 3090太贵, 高攀不起, 已经下单 3080 20G , 之前的3070 8G 还抵了1400块钱, 实际到手才2000多, 挺划算,另外已经改了4090静音风扇, 适合日常游戏,否则现在的3090一玩游戏就风扇声音大燥。 另外准备在ubuntu下玩玩魔改异构GPU张量并行(Mismatched TP),好像有人玩成功过。

        terryT 1 条回复 最后回复
        0
        • johnnybegoodJ johnnybegood

          @terry 3090太贵, 高攀不起, 已经下单 3080 20G , 之前的3070 8G 还抵了1400块钱, 实际到手才2000多, 挺划算,另外已经改了4090静音风扇, 适合日常游戏,否则现在的3090一玩游戏就风扇声音大燥。 另外准备在ubuntu下玩玩魔改异构GPU张量并行(Mismatched TP),好像有人玩成功过。

          terryT
          terryT
          terry
          易有太极
          发表于 最后由 编辑
          #5

          @johnnybegood 好改吗?多少钱,4090的?你是涡轮改的?

          油管:https://www.youtube.com/@抡锤者

          johnnybegoodJ 1 条回复 最后回复
          0
          • terryT terry

            @johnnybegood 好改吗?多少钱,4090的?你是涡轮改的?

            johnnybegoodJ
            johnnybegoodJ
            johnnybegood
            王侯将相
            发表于 最后由 johnnybegood 编辑
            #6

            @terry 我的意思是说我买的 3080 20G 加了200块钱换上了 4090显卡原装拆机的静音版三风扇(好像是技嘉牌子的),没要涡轮风扇。。。应该好改吧, 这样散热好一些,满载实测压到78度以下,主要是噪音小一些, 平时玩游戏不吵闹, 不像3090涡轮玩游戏吵得很。
            下载.jpg

            Hello yangH 1 条回复 最后回复
            1
            • starryskyknightS
              starryskyknightS
              starryskyknight
              体面乡绅 硕果累累
              发表于 最后由 starryskyknight 编辑
              #7

              是我的話 只會再買一張3090+nvlink或是賣掉3090 換4090 48g

              C 1 条回复 最后回复
              0
              • starryskyknightS starryskyknight

                是我的話 只會再買一張3090+nvlink或是賣掉3090 換4090 48g

                C
                C
                captainheemo
                发表于 最后由 编辑
                #8

                @starryskyknight 大佬,你是说4090 48吗,我也只有一张3080 20g,想加一张卡。没看到有4080 48g的

                johnnybegoodJ starryskyknightS 2 条回复 最后回复
                0
                • johnnybegoodJ johnnybegood

                  @terry 我的意思是说我买的 3080 20G 加了200块钱换上了 4090显卡原装拆机的静音版三风扇(好像是技嘉牌子的),没要涡轮风扇。。。应该好改吧, 这样散热好一些,满载实测压到78度以下,主要是噪音小一些, 平时玩游戏不吵闹, 不像3090涡轮玩游戏吵得很。
                  下载.jpg

                  Hello yangH
                  Hello yangH
                  Hello yang
                  发表于 最后由 编辑
                  #9

                  @johnnybegood 小飞机锁频吧,风扇转速能降一下

                  johnnybegoodJ 1 条回复 最后回复
                  0
                  • C captainheemo

                    @starryskyknight 大佬,你是说4090 48吗,我也只有一张3080 20g,想加一张卡。没看到有4080 48g的

                    johnnybegoodJ
                    johnnybegoodJ
                    johnnybegood
                    王侯将相
                    发表于 最后由 编辑
                    #10

                    @captainheemo 他打错了, 应该写的是 4090 48G的, 太贵了, 27000-29000, 反正我是不买

                    starryskyknightS 1 条回复 最后回复
                    0
                    • Hello yangH Hello yang

                      @johnnybegood 小飞机锁频吧,风扇转速能降一下

                      johnnybegoodJ
                      johnnybegoodJ
                      johnnybegood
                      王侯将相
                      发表于 最后由 编辑
                      #11

                      @Hello-yang 锁频也没用, 涡轮风扇垃圾

                      1 条回复 最后回复
                      0
                      • C captainheemo

                        @starryskyknight 大佬,你是说4090 48吗,我也只有一张3080 20g,想加一张卡。没看到有4080 48g的

                        starryskyknightS
                        starryskyknightS
                        starryskyknight
                        体面乡绅 硕果累累
                        发表于 最后由 编辑
                        #12

                        @captainheemo 抱歉我打錯 的確是4090 48g

                        1 条回复 最后回复
                        0
                        • johnnybegoodJ johnnybegood

                          @captainheemo 他打错了, 应该写的是 4090 48G的, 太贵了, 27000-29000, 反正我是不买

                          starryskyknightS
                          starryskyknightS
                          starryskyknight
                          体面乡绅 硕果累累
                          发表于 最后由 编辑
                          #13

                          @johnnybegood 我在海外 所以買起來比較便宜

                          johnnybegoodJ 1 条回复 最后回复
                          0
                          • starryskyknightS starryskyknight

                            @johnnybegood 我在海外 所以買起來比較便宜

                            johnnybegoodJ
                            johnnybegoodJ
                            johnnybegood
                            王侯将相
                            发表于 最后由 编辑
                            #14

                            @starryskyknight 海外价格如何?

                            1 条回复 最后回复
                            0

                            你好!看起来您对这段对话很感兴趣,但您还没有一个账号。

                            厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。

                            有了你的建议,这篇帖子会更精彩哦 💗

                            注册 登录
                            回复
                            • 在新帖中回复
                            登录后回复
                            • 从旧到新
                            • 从新到旧
                            • 最多赞同


                            • 登录

                            • 登录或注册以进行搜索。
                            • 第一个帖子
                              最后一个帖子
                            0
                            • 版块
                            • 最新
                            • 标签
                            • 热门
                            • 用户
                            • 群组