本地AI显卡四大天王:7900XTX/3090,AI Pro R9700/4080S 32G 怎么选?单卡双卡标准不同,AMD生态劣势已大幅补强!
-
今天来谈一谈本频道大力推荐的四张卡,就是从成立以来到今天,一直在推荐的四张甜点卡,就是AMD的7900 XTX、Radeon AI PRO R9700,以及英伟达的3090,还有这个4080S 32G魔改卡。
就这几张卡怎么选,在论坛中,包括在这个频道中,其实一直都是讨论的热点。它们的热度肯定是超过了4090 48G,超过了RTX Pro 5000、6000,更是远远吊打其他的一些小众硬件,比如说M3 Ultra 512G,或者说是什么M5 Max、M5 Pro,热度都超过这些硬件。当然了,也肯定是超过了什么小主机了,比如说AI Max 395、400,比如说双DGX Spark。论坛都有这样的帖子,都有它们的实测数据,但是这四张卡就是甜点卡,就是讨论的热度最高。

那么我们先从7900 XTX跟3090的选择开始。之前我这个频道刚刚成立的时候,那个时候AMD的生态还并不是很完善。在Linux上,我认为已经具备了85%左右的通用度、适配度。就英伟达的显卡能干什么事情,在Ubuntu操作系统上,在其他的Linux标准发行版上,那么7900 XTX大概能做到85%。无论是跑ComfyUI,还是跑大模型,跑大模型当时已经基本上是100%都能跑了,只是说效率可能要落后于3090。然后跑ComfyUI的话,大概能够做到3090 85%的这么一个可用度吧。
那么在Windows上,当时的AMD生态简直是糟糕至极,就非常不友好,很难玩。你玩ComfyUI,这个难度很高,基本上不太可能。玩大模型的话,你跑LM Studio,它对于Vulkan的版本,怎么说呢,优化其实并不好,而且它比起llama.cpp版本要落后很多。总之体验很不好,你入手的话非常不方便。
当时我的推荐是,如果说你想买一张显卡,到手之后就能够立刻干活,能够立刻形成生产力,你不怕折腾硬件,不怕在闲鱼、淘宝跟这些二手贩子斗智斗勇,那么你就买3090。3090买到手之后,你插上Windows立刻就可以干活。跑ComfyUI也好,还是跑大模型也好,3090都是挺能打的。在Linux上,它的体验就更好了,基本上你只要有一些Linux的基础常识,都能够很快把3090给配置起来。
但是如果说你像我一样有这个技术能力,那么你就买AMD的7900 XTX,就彻底告别Windows。在Linux系统上面,它能够达到3090 85%左右的效能,这个就是一个挺不错的选择。就是穷人嘛,要么你折腾软件,要么折腾硬件。

那么随着时间的流逝,已经过了几个月了,如今的局面已经发生了很大的改变。AMD在过去的几个月生态可以说突飞猛进,得到了很大的完善。现在如果说你买7900 XTX,你完全不用担心在Windows上玩不了ComfyUI,有这个机智罗机智Box在,它不仅帮你隔离了硬件问题,帮你把驱动都给你打好了,该装的包都给你装好了,环境给你弄好了,并且它本身还附带不少工作流。这些工作流还都能跑,一些热点的像MiniMax H3,它就原生就带。
如果说你要跑大模型,你直接跑llama.cpp,或者跑LM Studio、Ollama都行,这个体验也差不到哪去。如果说你想在Linux上工作,那它跟3090差距就更小了。当然了,有人还是会强调说3090的吐字速度比7900 XTX,就是它decode的速度要强不少,我觉得这个是完全没有意义的,一点意义都没有。因为你24G的显卡,你驱动Agent干活的话,你不可能多开的,你只能开一个会话。在这种情况下,你这个decode快一点,其实意义并不大。
7900 XTX在llama.cpp加Vulkan驱动底下,它128K长上下文做APP的开发,我之前的视频中是发过的,它的体验是非常好的。而且它是新卡,它的噪音很低,它比起3090,那噪音是天差地别。3090是涡轮卡了,当然了,我们也不排除有人是买到了质量比较好的那种二手的大风扇版本的,但是就算如此,它的噪音还是比7900 XTX要更大。

而且你这个二手的硬件,讲实话,经过那么长时间的工作,在7900 XTX这个更新的制程、更新的硬件之前,那体验差距是非常明显的。并且3090由于它制程比较落后,它是8纳米的制程,它的发热量是远远超过7900 XTX的。那么在这种情况下,如果说你买单卡的话,我就建议大家去买7900 XTX。
第一,你可能只花更少的钱。3090的价格可能已经破万了,前一阵子东哥不是前两天出了个8700的3090吗?可以说一下午还没到,几个小时就被秒光了。那在这种情况下,你说你花上万的价格去买3090的涡轮卡,有意义吗?它们本身就是矿卡,核心拆下来重新贴片、重新做。这种工艺它不可能有大厂来搞的,中等厂商也不可能搞的。
它不像4090 48G,京东自营敢卖的话,它起码是二线厂商、二线品牌的代工厂,它给你用标准的打板、切片这种标准的量产流程,然后给你进行严格的测试。就这样4090 48G还经常出问题,你何况是3090那些涡轮卡呢?4090你都不能保证质量,你何况是3090呢?
但是我们必须说,任何硬件上的风险,它都有对应的红利。那么如果说你要买双卡的话,或者说你现在已经有了一张3090,那么你要再买一张卡,那肯定是毫无疑问的,建议你去上你自己能够找到的最靠谱的渠道的3090涡轮卡,或者说是其他靠谱的二手卡。比如说京东哪一天自营拍拍二手又开始放3090了,你抓住机会,不要犹豫,第一时间下单,把它买到手,买到就是赚到。

那么7900 XTX它双卡能不能做TP?也是能的,而且它是新卡。但是它双卡TP目前的生态,它的SGLang,我们这个论坛已经有人跑起来了,并且在持续地改进中,但是它的生态还是不如3090。并且我之前关于7900 XTX双卡TP这个方案,我的有些说法是错误的,就是说它是比较挑主板的。我之前说大家用X99的CD3主板去跑,但是这是个错误的说法。
之前用X99的寨板跑双卡TP,人家用的是Vulkan加llama.cpp。这个方案确实已经有成功跑起来的,论坛有帖子,大家可以去参考。但是SGLang是比较挑主板的,就是说X99的寨板可能不支持。大家已经跑起来的可能是X670、X570这样的个人消费板,或者说是AMD的EPYC,EPYC平台的洋垃圾。但是这个洋垃圾的套餐它也挺贵的,可能还没有AMD的X670、X570便宜。这个具体怎么上,大家要到论坛中去找相关的帖子,也可以发帖直接向大神们求教,大神们会把自己的经验告诉你的。
但是就算说你是形成了R9700的双卡TP,我个人认为还是3090的价值更高,因为3090它有NVLink。我之前对于NVLink的一些说法也是错误的,我必须要说,NVLink它是不怎么挑主板的。之前论坛的NVLink为什么有很多人有问题呢?就是因为他们没有找到对的桥接器,要么是桥接器跟显卡的厚度不搭,要么是桥接器本身是坏掉了。
所以说我印象中可能说NVLink比较挑环境、挑主板,或者说它本身不太稳定,事实上并不是如此。越来越多的玩家用自己的实际数据告诉我,这个东西还是挺靠谱的。然后NVLink能够把两张3090桥接到一起,并且它桥接的带宽是远远超过什么PCIe 3.0、4.0、5.0。你什么x8、x16,你就是x50,你也没有NVLink的带宽高,没有NVLink的延迟低。
那么这是3090最大的优势。就是说你上双卡TP之后,说实话它的效能,它跑大模型时候的战斗力是要强过4090 48G的。具体的数字我也没有去深入研究,但是它毕竟是两张卡,两个带宽是可以叠加,然后两张卡算力也可以叠加。就是我们纸面上看,4090的算力比3090要强很多,但是事实上你跑大模型的时候,你最主要的瓶颈是带宽,包括跑ComfyUI其实也是了。

当然了,我们必须说,跑大模型你双卡TP 3090,这是它的最大价值,要超过4090 48G,甚至说它肯定比RTX Pro 5000要强。但是这里面有一点就是说,如果说你要跑ComfyUI的话,你目前还是不如单卡大显存。不过你想一想,两张3090也没有贵到哪里去了,就见仁见智吧,看你如何选择了。毕竟涨价之前它才6000块钱,现在已经破万了。
有任何方案,如果说你不谈价格的话,那就是耍流氓。包括说7900 XTX,我现在推荐就是说,如果说你想买新卡,你不想折腾硬件,那么你买两张或者买一张7900 XTX,都是很好的方案,它两张也能TP。跑MiniMax H3,跑千问27B都可以。
总之你穷的话,你就要么折腾硬件,要么折腾软件。涨价之前的7900 XTX也才5000块钱,5000出头,现在已经干到8000块钱了。但是你5000块钱左右依然能够买到比较靠谱的二手卡,这个要看你自己愿不愿意花心思了。
下面就再说一下Radeon AI PRO R9700跟4080S 32G怎么选。以前我还是那句话,就是说如果说为了生态,你可以考虑4080S 32G,然后如果说你想要稳定,你可能考虑Radeon AI PRO R9700。那么今天我就跟大家说,我就完全不推荐任何人去买4080S 32G了。
原因很简单,就是说Radeon AI PRO R9700,它的性能可能只相当于4080S 32G的70%,但是它毕竟也是32G的显存,它640 GB/s的带宽,它能够单卡跑千问27B,也能够跑MiniMax H3。它比4080S 32G确实要慢,但是现在它的生态,无论是在Windows上,还是在Ubuntu上,在Linux上,它都已经是非常成熟了,就它生态上没有什么短板了。

在这种情况下,如果说4080S 32G没有什么特别的,比如说像3090一样有NVLink,那你就没有任何的理由去选择旧卡。还是那句话,凡是说对新卡跟旧卡之间有什么差距搞不清楚的人,我都建议你到论坛去多看看那些血泪帖子。比如说4090 48G、4080S 32G,它们出问题之后有多么糟心。
就是你买工具回来是干活的。你哪怕R9700比4080S 32G确实要慢,但是它毕竟什么活都能干,你能干的活它也能干。慢一点,说实话就慢一点呗。有钱人你想快,都去买RTX Pro 5000、6000去了,最少也得买个4090 48G吧,那就完全不用考虑这个问题了。
你都已经是在1万块钱左右的卡在这里来回犹豫了,你也不是什么有钱人,你的时间还值钱吗?既然你的时间不那么值钱,你还是买一张稳定的卡,少给自己添堵。你想一想,你做一件事情,你无论是做一个油管频道,还是像我一样做网站、维护APP,当然了,我油管频道也很多。你想一想,你是不是要有大量的精力消耗在生产上面?你如果说硬件再出问题,你说你头疼不头疼?
现在因为有DeepSeek V4、4.1 Flash这个神级模型在,你软件出问题,让它去搞就行了,搞不定你就骂它,花不了几个钱。那么我们论坛的超级版主Tony一直在用vLLM,我就说了,我说你买RTX Pro 5000 48G,你花了几万块钱去买这张卡,然后你用vLLM,你不用SGLang了,你就是犯罪啊。

他可能说自己不想去配,我说你直接把这个方案,我就把我的参数发给他,让他丢给他的AI Agent,很快就搞定了,一共花了他一块钱。软件出问题就这么容易解决。硬件出问题你想一想,你要跟什么卡贩子,跟闲鱼上面的卖家,跟拼夕夕上的卖家,跟淘宝卖家斗智斗勇。他们程度轻一点的,产品链接不见了;程度重一点的,这个店就不见了,你找都找不到人。你有这个精力吗?
而且我们必须说,R9700这张卡,它的生态还是比较好的,它有FP4。就这张卡,你买两张回来并行去跑ComfyUI,它也不贵啊,实际上它的效率、它的速度也不慢啊,毕竟你可以两张同时跑嘛。如果说你两张TP跑大模型的话,有64G的统一显存池。你跑SGLang,它也是原生支持的,这个是不难的,论坛有大量的帖子跑起来的,你们可以去参考一下。
而且这个卡讲实话,它的功耗也比4080S要更低。硬件你能够买到什么瀚铠、蓝宝石、讯景,这些一线大厂的品牌,你担心什么呢?
视频的最后,我还是要跟大家强调一下,我发表的这些关于硬件的评价,有些我是买了的,比如说7900 XTX,比如说4090 48G,比如说苹果的小主机。那有些我是没有买的,但是我这个论坛有很多人发布了很多真实的测试数据,就是没杀过猪,我也是见过猪跑的。
我这个总结中难免有错误和疏漏,你们如果说就这些问题来对我进行冷嘲热讽,这个我是接受的,没有问题。你要奔着讨论技术问题而来,什么样的批评我都能够接受。但是千万不要发表一些智障言论,就是一些酸腐的言论,就是纯粹为了酸我而酸,那我对你不会客气的。
那么如果说我对于某些硬件的评论有了错误,或者说我的一些技术观点、软件方面,比如说怎么搭建、怎么用,我可能评论不太准确,或者说我分享的经验有哪些地方有疏漏,那么欢迎你们到论坛发帖指出。对于这样的朋友,我是热烈欢迎的,我们论坛的讨论氛围也是非常好的。
-
-
老特刚看了视频,我就想问一下,如果你现在买的话还是会推荐买两张r9700 大于一张4090 48g吗。我知道1+1=1.8 但是我其实不太懂,这个性价比应该双卡更好吧?
-
老特刚看了视频,我就想问一下,如果你现在买的话还是会推荐买两张r9700 大于一张4090 48g吗。我知道1+1=1.8 但是我其实不太懂,这个性价比应该双卡更好吧?
@captainheemo 人家都说清楚了, 跑本地大模型双卡性价比高, 但是出视频, 你没有大显存是不行的啊, 现在 comfyui是不支持多卡加起来的显存的(分辨率)。当然不排除以后有这个功能, 我也希望吧, 因为我是双卡。
-
-
现在马来西亚的rtx6000 ada 48gb = 35k (马币,下同)
rtx 5090 32gb = 25k
rtx 4500 32gb blackwell = 25k
rtx 5000 ada 32gb = 17k
rtx 4000 blackwell 24gb = 12k
amd r9700pro 32gb = 10k
代理商不会看错的,需求量摆在那里。。。我现在可以搞的就是把5060ti 16gb 拿出来接我的第二条插槽看看 -
-
-
我猜,盲猜
nvlink 也看vbios
卖家也测了nvlink 但是 4块显卡 2 块nvlink 都有问题
我怀疑是魔改主板nvlink vbios设置 有点不一样
感觉去全部都有问题的几率有点低有没有网友用nvlink成功然后又是魔改涡轮卡的?
有nvlink跟没有的分别应该就是20% 的prefill 所以我不想折腾换硬件了
现在我的硬件 跟nvlink之间应该就是差 nvlink 双方向100gb/s 我的是50.NVLink 跟是不是魔改涡轮卡没关系,取决于核心本身有没有 NVLink 控制器,以及桥和固件能不能配起来。
2080 Ti、3090 的 NVLink 版核心都支持;魔改涡轮卡多是 2080Ti 22G / 3090 24G,核心没换,理论上能通。4 张卡 2 组都有问题,更可能是:桥型号/长度不匹配(不同 PCB 的桥不通用)、VBIOS 被刷成非 NVLink 或版本不一致、没插紧或触点氧化。
先别换硬件,按这个查:
nvidia-smi nvlink -s看链路状态、nvidia-smi nvlink -e看错误计数、nvidia-smi topo -m看 NV 列、nvidia-smi nvlink -c确认速率。收益判断你也对:NVLink 主要补 prefill 的 all-reduce,大约 20%,decode 受权重带宽主导、收益很小。为这 20% 折腾魔改硬件不划算,双卡走 PCIe 配好分片策略就够了。
