本地AI垃圾佬三杰：2080Ti / 3080 20G / 7900XT，单卡双卡跑LLM，双卡TP跑AI视频都很有生产力！
-
本次视频我们重点讲三个显卡啊，就是2080Ti，然后3080 20G、7900XT，这三张卡在拼夕夕上的价格分别是3,000出头，后面两个是4,000出头，也就是2080Ti是3,000出头吧。但是呢，2080Ti它有一个问题，就是2080Ti它是属于图灵架构，它天生残疾，没有BF16这个最重要的、当下AI生态大模型还是ComfyUI也好，它们所需要的这个硬件指令集，2080Ti是没有的。在这个之前呢，它是双卡TP能够跑这个千问27B，因为跑文本大模型的时候，你给它用这个什么FP16，不用BF16，它就可以推理，这个精度损耗可以接受。但是呢，当时是跑不了ComfyUI的，因为跑ComfyUI，它大部分时候都要使用BF16来推理。
但是我们这个朋友“包子丢狗”，他是一个相当牛逼的人啊。他来论坛参照了一下我们论坛的帖子：MiniMax H3张量并行，是两张7900XTX跑的啊。这个帖子我们看一下。这个帖子是FCYS写的，我们论坛这一系列帖子是从奔赛用双R9700跑这个MiniMax H3双卡TP开始，到后来FCYS，包括这个什么，呃，雄杰高，是吧，包括烘焙老兄，就很多人呐，它们都用自己的卡来实际验证了一下。哦，这个FCYS好像是两张W7900啊，他的帖子启发了很多人，因为他搞定了RDNA3架构底下它有一些架构上的不兼容。然后“包子丢狗”就是我们这边双2080Ti TP跑H3的这个作者，他呢就把这个什么2080Ti图灵架构的卡，它不支持BF16这个硬性的缺点，啊，这个残疾给修复了。当然当然了，不是说让它支持这个架构，而是在什么Triton算子，包括这个什么BF16推理、这个回退，啊，FP16它的这个精度溢出的问题，是吧，它都做了相对应的改动。
这个还是非常有技术含量的啊。这个帖子讲实话，我一开始是给他打了个优秀，但是我后面眼睛扫了一下啊，我就给他改成精华。就是要搞定这种技术含量的事情啊，这个对作者的技术水平要求是非常高的啊，这不是说三脚猫能搞定的。而且你看他发帖你就能看得出来，就是他每一步抓的东西都非常关键，就非常干脆。写的帖子是纯爷们的那种风格，就不会像很多人的帖子洋洋洒洒一大堆，你看起来是吧，表也多、图也多，但是到最后我都忍不住问：你这个关键点、你这个结论到底在哪里，关键点到底在哪里？这位哥们发的帖子就是每一步啊，你想要找的话非常容易就找到了。
那么我们继续看下去啊，它这个双卡TP说是做到跟7900XTX一样的效率，我看了一下是对的啊，就是7900XTX双卡TP也只能跑到1600乘896的分辨率，1080P就吃力了，它这个双2080Ti也能这么搞定。要知道这个双2080Ti，它7P无论是跑这个27B还是跑这个千问Flash Next，它的实力都是相当强的。目前它3,000出头的价格，我是比较推荐大家去尝试的啊。而且2080Ti这张卡的功耗并不高，这个图灵架构当年的旗舰卡，它都是各方面的参数给足了，木桶效应，它是没有什么明显的短板。到了这个安培架构，老黄就开始有点耍奸了，之后的这个什么Ada，包括说这个也就是40系列了，包括5090、50系列的，它的这个什么Blackwell架构，老黄就已经演变成为一个鸡贼了啊。所以说2080Ti这张卡性价比是比较高的。
但是2080Ti也是经历过矿潮的，它的年岁也已经很久了，你不能拿它来碰瓷7900XTX新卡，因为怎么讲，新卡它毕竟现在的使用寿命还是很长的，你2080Ti买到手能够用多久不好讲。但是手中已经有2080Ti的朋友，你们的福音来了，真的我觉得抄一抄“包子”兄弟的这个帖子，能够让你们老卡重获新生。这个评论区有些酸民啊，我觉得他们可能是脑子有点问题，就是智商可能不太高。他们在这个评论区嘲讽说我以前在视频中嘲讽7900XT、3080 20G不行，然后现在又说它们行，包括2080Ti。我觉得你们如果智商正常的话，你们应该去看看当时的环境。第一，当时这些20G的显存，它们跑不了千问20GB，它们也跑不了LTX，那你买了可不就是智商税吗？你就省那么一点钱，少了那4个G的显存就要了你们的命。再说了，当初我给你们推荐的是7900XTX、3090、4080S 32G、AI Pro R9700、RTX Pro 5000、6000。你们如果智商正常的话，你们当初买的这些卡，你们想一想，现在这个卡增值多少？你们当初如果是智商不正常，没有听我的劝，你们去买了V100，是吧，你们的卡还掉价了。你说你们是不是憨批？你们有什么得意洋洋的？是吧，我们说傻这个没有问题，因为每个人都有傻的时候。你在不同的领域，每个人的专业知识积累是不一样的，是吧，傻它并不是一个特别可耻的事情。但是呢，你傻还到处出来装逼，还到处出来炫耀自己智商低，那你这不可笑吗，是吧？
那么我们现在再讲讲这几张卡啊，就是2080Ti我们已经吹过了，我们讲3080相比于2080Ti，它的好处是什么。就3080这张卡，它最大的缺点就是它这个20G是魔改的。魔改卡我说了很多次了啊，魔改卡你不要指望它跟正常的卡一样，有这个什么那么长的使用年限，有那么高的稳定性。是吧，我跟你讲，10卡8坏，这个不是夸张的。但是有些人是幸存者偏差，它们手中有体质不错的3080 20G，那么你们就走了狗屎运了，是吧？那现在3080 20G它支持BF16，它没有什么硬性的缺点，它的带宽很高，算力很强。如果说现在用Strata跑这个什么，你双卡TP跑这个千问Flash Next的话，它是无限接近3090的，就这个钱花得很值。现在双卡TP又能跑MiniMax H3，是吧？但是它的价格就是比2080Ti要贵一点。就我个人认为呢，反正这个2080Ti 22G也是魔改卡，是吧？如果说你搞不定NVLink，那你买两张3080 20G也是可行的。但是3080 20G目前已经涨到4,000多了，啊，已经涨了一千多块钱。我个人觉得就见仁见智吧，手中有的就偷偷窃喜，手中没的啊，我也建议就是非常符合你需求的情况下，你可以采购。
然后就是7900XT，它现在是比7900XTX要便宜个三四千块钱啊。它的好处就是说它不是魔改卡，它是新卡，4,000多块钱，是吧，双卡基本上能够在大部分场景下平替两张7900XTX。这个讲讲的就是个人用户啊，个人这种情况，它少的那个4G显存以前很要命，现在没那么要命。它的算力跟带宽都是比这个7900XTX要略微差一点，性价比我认为是比较高的。啊，这个就看你自己怎么想了。但是我们也必须说啊，它的生态是没有3080 20G好的。它如果说跑分、跑这个什么大模型，还是跑视频，它肯定是不如3080 20G双卡的。就看你们是要这个稳定，是吧，还是要这个什么一时的这种快感。
然后现在有了AI的加持啊，我们论坛有很多大神，它们甚至都在开发自己的、基于开源推理框架的定制化AI推理引擎。我这个以后可能，我认为可能是一个趋势，就是你自己需要什么样的推理引擎，以后很有可能你自己用AI来定制就行了，硬件本身的素质过得去就行。那么这三张卡，2080Ti 22G搭配NVLink，然后3080 20G、7900XT，我认为它们的双卡方案都是非常有意义的啊。就如果说你们想要省钱，是吧，想要入门大模型跟这个ComfyUI，你们现在都能玩得起，那就按照这个方案来装呗，搭配X99的洋垃圾就行了。啊，没有必要去上特别牛逼的新的硬件。
还有就是我提醒大家啊，硬件潮什么时候崩，这个大家不知道，就是你没有必要刻意去等它崩盘，万一它两年不崩盘呢，你能等两年吗？是吧，但是我们也不要去花大价钱去买这个什么RTX Pro 6000呐，是吧，或者RTX Pro 5000。就说那些在我推荐的时候、涨价之前就买的，现在好好享受就行了。现就是以前我推荐的时候你们没买的，现在已经涨了一倍多，甚至涨了1.5倍了，你们这个时候再买就是智商税了。那硬件老美那边已经在清理这个安培架构的卡了，已经在清理A100了，是吧，暂时还没有传导到我们中国大陆，但是我相信很快就会在全球扩散的。大船或上岸的时候，是一切炒作商家的终点。啊，你不要跟它们去陪葬，真的你没有必要花大几万块钱，比如说五六万块钱去买一张卡，啊，这个时候真没必要，除非你本身不怎么差钱。
我们这个论坛、我们这个频道，就是讲一些普通人能够够得着，是吧，你能愿意当当垃圾佬也行，你能愿意去买一些什么7900XTX或者R9700，是吧，4080S 32G、4090 48G这种入门卡的，或者说这种中高端卡的都可以。有钱人呢，就秀自己的4个DGX Spark，或者秀自己的4个RTX Pro 6000，是吧，M5 Ultra 256G都可以，但是一定要量力而行。啊，就不要说想着自己买到便宜的硬件赚了大便宜，或者说买这种硬件的人都是傻逼，因为马上这个要崩盘，就你聪明，都不要有这样的想法。一切都是买到东西，干活赚钱，就这么简单。
-
-
-
3080 20G刚刚退了。耗不起，用一个星期就坏了，显存直接为0。虽然京东可以180天换新，但是1个星期换一次也挺折腾的。首选选还是7900XT，最多就是让DeepSeek多折腾一下环境。
-
3080 20G刚刚退了。耗不起，用一个星期就坏了，显存直接为0。虽然京东可以180天换新，但是1个星期换一次也挺折腾的。首选选还是7900XT，最多就是让DeepSeek多折腾一下环境。
-
@Wilson-Huang 魔改卡看来很讲运气，前几天我还想买4080 32G ，后来还是担心质量不行，然后买了7900xtx 涡轮卡
@Michael-ZHANG 是的，AMD虽然生态差一点，但是可以让AI帮我们折腾，但是卡坏了只能停工售后。
-
