3张5060ti置换了1张4080s 32G
-
听取坛友意见，入一张大vram的n卡。
4080s 这个卡现在全新1.3多一点，刚好与3张二手5060ti价格相当。
考虑如下：- 单卡16Gvram 加载dspark这种单独的草稿模型，oom。
- tp不能增加decode速率，448G带宽，decode天花板摆着。
- 27B FP8，4卡5060ti tp4 prefill 2300，decode 50-60左右，我的本地任务的多数请求是input几百左右，output 10000左右。因此更关注decode效率，4080的带宽是736G因此更好。
- 偶尔跑 finetune任务。
- 无聊时玩image或者video任务。
缺点：不能跑tp了，除非再买一张4080。27B FP8 用vllm和sg都跑不了，试了一下fastllm引擎，可以跑 pp，64层自定义层切分，可以跑起来，prefill也有2000左右，但decode只有30了，应该是pcie导致。
优点：得到一张32G卡，带宽也高。另外，最近新出的这批4080，好像涡轮可以自动调速了，待机状态30 40%的转速，不吵，噪音还没3970x的cpu风扇高。但满载时100%转速还是很吵。
关于质保，店家3年质保，其背后一般直接对工厂。买回来跑推理和视频压测了一下午，室温30，显卡温度70-80度之间。这段时间用下来暂时没其他问题。
部署方法：
- 单机双模型，4080单卡部署27B，4bit到6bit之间。5060ti单卡部署strata。
- 如果需要更高精度例如 27B FP8, 需要48Gvram，fastllm调优一下勉强用。相信陆续会有更多引擎支持更好的tp或者pp部署方式。
这是过渡方案，计划等以后显卡价格下降了，再买两张大显存的pro系列组tp。
-
听取坛友意见，入一张大vram的n卡。
4080s 这个卡现在全新1.3多一点，刚好与3张二手5060ti价格相当。
考虑如下：- 单卡16Gvram 加载dspark这种单独的草稿模型，oom。
- tp不能增加decode速率，448G带宽，decode天花板摆着。
- 27B FP8，4卡5060ti tp4 prefill 2300，decode 50-60左右，我的本地任务的多数请求是input几百左右，output 10000左右。因此更关注decode效率，4080的带宽是736G因此更好。
- 偶尔跑 finetune任务。
- 无聊时玩image或者video任务。
缺点：不能跑tp了，除非再买一张4080。27B FP8 用vllm和sg都跑不了，试了一下fastllm引擎，可以跑 pp，64层自定义层切分，可以跑起来，prefill也有2000左右，但decode只有30了，应该是pcie导致。
优点：得到一张32G卡，带宽也高。另外，最近新出的这批4080，好像涡轮可以自动调速了，待机状态30 40%的转速，不吵，噪音还没3970x的cpu风扇高。但满载时100%转速还是很吵。
关于质保，店家3年质保，其背后一般直接对工厂。买回来跑推理和视频压测了一下午，室温30，显卡温度70-80度之间。这段时间用下来暂时没其他问题。
部署方法：
- 单机双模型，4080单卡部署27B，4bit到6bit之间。5060ti单卡部署strata。
- 如果需要更高精度例如 27B FP8, 需要48Gvram，fastllm调优一下勉强用。相信陆续会有更多引擎支持更好的tp或者pp部署方式。
这是过渡方案，计划等以后显卡价格下降了，再买两张大显存的pro系列组tp。
@XIUNAN-ZHI 16x3 = 48g , 跑大模型差个2G 4G都差挺多的， 何况这一下差出了16G, 还是有可惜。 而且 5系还是 blackwell 新架构，后面优化潜力很大。 如果我是你， 我就不会换。。。 当然换了也挺好， 以后还可以再买一张， 组成双卡肯定没错。
-
-
1.3怕是买不到了吧？
@Wilson-Huang 涨价了，因为算力解锁的事。
-
-
@XIUNAN-ZHI 16x3 = 48g , 跑大模型差个2G 4G都差挺多的， 何况这一下差出了16G, 还是有可惜。 而且 5系还是 blackwell 新架构，后面优化潜力很大。 如果我是你， 我就不会换。。。 当然换了也挺好， 以后还可以再买一张， 组成双卡肯定没错。
-
不换 4 张5060 ti 不是更好吗
-
不换 4 张5060 ti 不是更好吗
@applejuice 嘿嘿，其实是计划后面买大显存一点的50系，现在几万几万一张，有点小贵，扛不住。
-
@johnnybegood 等降价一点，再买两张4500。
-
@applejuice 5060ti decode不够快
@XIUNAN-ZHI 再不快， 乘以4倍， 最差也能乘以 3倍， 那足够快了， 再说4张那可是 64G 显存了！
-
@XIUNAN-ZHI 4500现在 3w5 左右了？ 两个要7万
@johnnybegood 3.5万感觉有点不划算啊，一万多cuda核心，4080s也有一万多cuda核心。显存一致。等4500降一降，4080涨一涨就出手。ps，今天遇到一个黄牛，囤好多魔改卡，估计是因为解锁算力？估计要走一波行情啊
-
@johnnybegood 3.5万感觉有点不划算啊，一万多cuda核心，4080s也有一万多cuda核心。显存一致。等4500降一降，4080涨一涨就出手。ps，今天遇到一个黄牛，囤好多魔改卡，估计是因为解锁算力？估计要走一波行情啊
-
@XIUNAN-ZHI 是呀， 还是多等等， 再等大半年， 应该进入价格下行阶段了
@johnnybegood 嗯，只能等了，感觉很多囤卡的。
-
-
@Terry 我试了strata，都跑ud q4，agent任务，单卡4080 和 之前4卡60ti，prefill速率差不多，都是两千六七，但decode 4080还快一点，平均能有个90 100多，而4卡60ti 60 70多。结合论坛其他帖子，应该是2张60ti跑 strata比较舒服，4张有点浪费啦，所以还不如出了换大显存一点，长远一点的目标是搞两张4500。
