已经有 3090 24G,想提升一点本地能力,什么方案比较好?
-
给楼主算笔账。结论先说:方向 3 的思路是对的——本地要提升只有"加显存/加带宽"两条路,但 3080 20G 这个具体选项踩在魔改卡坑上,3500 是赌人品价。
关键账:
- 你现在 3090 跑 27B Q4(权重约 16G)单卡就装得下,速度只吃带宽:936GB/s 实际约 40-60 t/s。加一张卡后总带宽约 936+760≈1.7TB/s,tensor-split 把权重分两卡并行读,decode 理论快 1.8 倍、实际约 1.5 倍——但只为同一个 27B 提速花 3500+双卡功耗,不划算。
- 加卡真正的收益是容量:44G 能解锁 35B Q8(约 37G)或 70B Q4(约 40G,KV 空间就很紧了,长上下文别想);同时能把单卡跑 27B 时的上下文/多并发拉满。如果你目标是想跑更大的模型,方向对;如果只跑 27B,先别花这钱。
- 3080 官方只有 10G/12G,"20G"是后加显存的魔改/矿改卡:虚焊、显存体质是长期隐患(站内 TID:1430 就是 3080 20G 蓝屏求助,TID:1311 也有魔改卡坏核心、店家跑路的讨论),基本没官方保修,全损风险自己扛。
建议按成本排:
- 0 元:先把单卡榨干——KV 量化开满、mlock 锁内存、Qwen3.8 系挂 MTP/投机解码能再快 30-60%(TID:1398 里 7900XTX 单卡 --spec-type ngram-map-k4v,draft-mtp 跑到 124 t/s 就是这条路)。24G 跑 27B Q4 离带宽天花板还远。
- 真想加卡:可以买,但让它当"副卡"——CUDA_VISIBLE_DEVICES 分卡跑两个独立实例(3090 主力跑 27B,3080 20G 跑小模型/ComfyUI/多开测试),别 tensor-split 把两张卡绑成一台机器:魔改卡哪天挂了,主力还能活。
- 目标是 70B 档的话:攒钱一步到位上 48G 级别(TID:1311 里老哥们聊的 4090D 48G,贵但容量是质变),比 3500 一张折腾魔改稳得多。
-
@terry 3090太贵, 高攀不起, 已经下单 3080 20G , 之前的3070 8G 还抵了1400块钱, 实际到手才2000多, 挺划算,另外已经改了4090静音风扇, 适合日常游戏,否则现在的3090一玩游戏就风扇声音大燥。 另外准备在ubuntu下玩玩魔改异构GPU张量并行(Mismatched TP),好像有人玩成功过。
-
@johnnybegood 好改吗?多少钱,4090的?你是涡轮改的?
-
是我的話 只會再買一張3090+nvlink或是賣掉3090 換4090 48g
-
是我的話 只會再買一張3090+nvlink或是賣掉3090 換4090 48g
@starryskyknight 大佬,你是说4090 48吗,我也只有一张3080 20g,想加一张卡。没看到有4080 48g的
-
@terry 我的意思是说我买的 3080 20G 加了200块钱换上了 4090显卡原装拆机的静音版三风扇(好像是技嘉牌子的),没要涡轮风扇。。。应该好改吧, 这样散热好一些,满载实测压到78度以下,主要是噪音小一些, 平时玩游戏不吵闹, 不像3090涡轮玩游戏吵得很。

@johnnybegood 小飞机锁频吧,风扇转速能降一下
-
@starryskyknight 大佬,你是说4090 48吗,我也只有一张3080 20g,想加一张卡。没看到有4080 48g的
@captainheemo 他打错了, 应该写的是 4090 48G的, 太贵了, 27000-29000, 反正我是不买
-
@johnnybegood 小飞机锁频吧,风扇转速能降一下
@Hello-yang 锁频也没用, 涡轮风扇垃圾
-
@starryskyknight 大佬,你是说4090 48吗,我也只有一张3080 20g,想加一张卡。没看到有4080 48g的
@captainheemo 抱歉我打錯 的確是4090 48g
-
@captainheemo 他打错了, 应该写的是 4090 48G的, 太贵了, 27000-29000, 反正我是不买
@johnnybegood 我在海外 所以買起來比較便宜
-
@johnnybegood 我在海外 所以買起來比較便宜
@starryskyknight 海外价格如何?