琢磨了这么久,发现这个卡才是合适的选择
-
-
如果真的能6万拿到全新,最起码相当于赚1万。毕竟零售48G也要5万了。
72GB的主要问题就是性价比很尴尬。
如果作为LLM,72GB不引起质变,尤其是strata出现之后。
你说跑更高级别量化的27B,pro 5000的芯片频率、显存带宽不行,导致prefill和decode速度很低。
你说跑更大的模型,72GB其实放不下。
唯一能想到的点,就是strata能加载更多的专家到vRAM,但是这能抵过你双3090>5000 72GB的差价吗,这个值得思考。comfyUI这个领域更是,基本没有48GB跑不了的音视频模型。
目前pro5000 确实相较于6000而言是价格洼地,但上文这也恰恰是其价格涨幅不如6000的原因。
-
不买省钱
问题是现在用strata 不需要太大显存
不用strata 72gb 大模型也不能直接跑
除非你说准备给将来qwen4 qwen5 需要比较大的显存我本身买多一张r9700(本来考虑两张) 是因为想跑一个27b dense 一个moe 互补
moe 对话 然后把工作派给27b dense更大的问题是 如果打算买来跑strata, 3090x2 跟r9700x2 肯定好 不到1/2价钱可以有80% rtx pro 5000 速度
如果r9700 跑radiance 就更快了 完全顶得住rtx 5000 pro我自己考虑的是
- 需求是什么, 跑dense? 跑moe? 拿来跑dense 更多的并发 比较有用处
- 要不要为不知数的未来买单,变数太多了 隔天一个样
我现在3090x2 + r9700
radiance 有点神 但是我感觉没那么简单 硬件差距就已经在那边 但是却无比厉害
我暂时看到的是radiance kvcache 全在vram, 如果长上下文 专家会offload 去ram 不懂会不会变慢
radiance 主要算法都在gpu, 如果expert 没在vram 就需要从ram 拿,这时候就考研pcie 速度了 有人说pcie 3 只有pcie5一半的速度(pcie3: https://lcz.me/topic/2554/2 pcie5: https://lcz.me/topic/2539 7000那个贴找不到不懂是什么pcie规格 )
https://lcz.me/topic/2539 的成绩不吸引我因为 不懂功耗墙是多少
如果3090 全开 应该也有4500prefillradiance 吸引我的地方:并发x4
我打算如果有便宜1-1.2w 的价钱 买一张就试试玩玩
不然 我就这样继续玩
rtx 5000 pro 我实在没本事
一方面我需求没那么高 这3张卡基本算是只用上10% 再买也是纯玩具@applejuice 要不我也再搞一张 R9700, 但是现在这个价格实在下不去手。
-
-
-
是不是两张4500也行?价格还便宜点
-
-
-
@kop-wang 我陷入了深深的思考。
-
我陷入了深深的思考。
Qwen : 我陷入了深深的思考。 不對....等一下 我再檢查下....等等 剛剛使用者說..........
-
-
-
囊中羞涩~,前几个月瞒着家里偷偷摸摸入了各种魔改卡,3080 4080 4090三个魔改版本的卡。玩是玩爽了,现在要还信用卡了一个头两个大,不知道咋整的好了。不过感觉现在这3个卡涨价厉害,不行出了还债~?
-
@ralfzhu 现在出掉赚1/3 最少 至少入帐一万?
-
-
现在是双 3090 , 考虑过很多,想再做一些升级。
双 R9700, 4090 48G , 170HX , 2x 4080s 32G 甚至 4x V100 32G 都研究过 , 最后兜兜转转, 觉得毕竟魔改卡、破解卡现在质量好的越来越少, 4090 48G 近期频繁出显存问题, 4080 32G 问题更多, 170HX 就是赌石,你网上见到别人的是好的,自己买到的那还真不一定, R9700是不错, 但是已经超出价值很多的溢价了,而且双卡分开从功耗、噪音、空间、包括软件使用上都还是有限制,
所以最后发现 rtx pro 5000 72G 性价比最好, 中关村 6W 拿货, 质量很有保障, 比 rtx pro 6000便宜那么多,比4090 48G 多出那么显存带宽和容量也值得这个差价, 所以现在基本确定了, 已经让中关村的朋友帮我再询询低价。
现在想再征集征集论坛群友的意见, 这个卡还有什么硬伤没有?
-
-
从第一天开始 云api 都是更划算的选择
买卡的价钱至少够用2年以上只是我个人需要本地隐私
也无可否认本地部署学了一点东西 虽然不一定有用 -
@范志刚 扎心了,道理说的很准,但这个钱不花出去我心里就总别扭。。。
-
给大家汇报一下,中关村询价之后,朋友告诉我这个卡近期会降价,说不定降到5w出头,让我不着急的话等一等,可能说是因为后面5500要出了,给让路。他这个说法靠谱么? 记得之前pro6000 5w7的时候我买了又给退了,现在一直在后悔,难道这次又要错过?不过仔细想想现在确实还是贵


本帖参与讨论人数已达 10+,入选热议,作者 +3 积分奖励!
