5070TI换3090就为了跑AI，Strata发布后亏大了！事实真的如此吗？ComfyUI & LLM性能到底谁更强？
-
下午发布的视频中，提到了5060 Ti 16G目前是当下最有性价比的入门AI神卡。有观众留言说非常可惜，他刚刚把5070 Ti 16G换成了3090 24G，就是为了弥补显存上的遗憾、跑AI。我不知道他的其他配件是什么型号。如果你用的是DDR5内存、PCIe 5.0主板，CPU本身也比较强劲，那么换卡确实有点可惜。就算过去用分层计算的方式跑千问27B、ComfyUI，搭配5070 Ti 16G，虽然要用内存做offload，但也不会慢到哪里去。现在由于Strata流行，显存的下限被大大拉低了，16G显卡也可以比较体面地跑起来千问3.8 Flash Next这个模型。
论坛用户崩溃：如果你仅仅是为了跑AI，把比较新的Blackwell架构5070 Ti换成3090，那确实有点吃亏。但是这个亏有多大？本次视频我们就水一下，讲完之后就去刷游戏。首先说架构方面，3090是安培架构，8纳米制程，发热非常恐怖。这个卡几乎100%是矿卡核心拆机重做，无论买的时候对方宣称是新的还是二手的，它一定是二手的，不可能有新机。这个卡由于是安培架构，不支持NVFP4，也不支持FP8。它是否支持INT4我不是很清楚，大家可以去查一下，不过这个东西不重要。它能够比较好地发挥BF16、FP32这两个非常重要的AI硬件指令集的优势，然后它有24G GDDR6显存、1TB/s带宽，这是非常牛逼的旗舰级配置。无论是跑大模型，跑千问3.8二十几B这样的黄金尺寸稠密模型，还是跑ComfyUI、MiniMax H3、LTX 2.3或者Wan这样的大模型，由于它属于英伟达生态，社区优化得非常好，相当牛逼。这个卡未来两年还是挺能打、挺能用的，不用担心换了之后吃天大的亏，不存在。
那么5070 Ti是Blackwell架构，支持NVFP4、FP8，当然BF16和FP32就更不用说了。它跟5080之间的差距比较小，如果跑AI，二者之间的差距可以说微乎其微。它的带宽好像是896 GB/s，跟936 GB/s的3090 Ti基本持平，没有什么差距。我刚才说接近1TB/s带宽，实际上具体数字应该是936 GB/s。那么它唯一的劣势就是GDDR7的16G显存，这就决定了它跑千问3.8 27B时，没办法把模型权重整个放到显存里，还是要使用内存作为显存缓存。跑ComfyUI时，跑MiniMax H3、LTX、Wan也都是一样的，它在这一块吃亏，必须借助内存作为显存缓存。当然英伟达在这一块做了优化，英伟达的驱动写得比AMD好很多。虽然降级到用内存作缓存，但速度降低的程度可以接受，还是能用的程度，不像AMD一旦使用内存作缓存，基本上就跟死机没什么区别，慢得很。当然最近也有改善，最近AMD生态由于官方努力，包括第三方机智罗这些朋友也在努力，已经有了大幅改善，但效率还是比英伟达差很远。
以当下跑本地AI大模型最流行的Strata架构来说，3090可以跑到100多 tokens/s，体验还是比5070 Ti强很多。5070 Ti大概是50多 tokens/s，论坛都有详细数据。说到这些卡，3090也好，5060 Ti、5070 Ti也好，或者4070 12G、4070 Ti Super这些相关的卡，虽然比较冷门，但论坛都有实测数据，或者有人在回帖中回复。大部分数据都是通过主帖详细展示的，给出了整个作业流程和详细数据，大家可以参考一下。
如果你现在还没有换，手中持有5070 Ti，搭配DDR5内存、一个比较强的U，主板是PCIe 5.0 x16，那么这种情况下没必要换3090。因为带来的体验虽然decode速度快了很多，但并不重要。Strata并不能非常友好地支持多并发、长上下文多并发，完全不如SGLang。那么你没必要为了跑大模型把5070 Ti换成3090，反正都是跑一个会话，50多 tokens/s跟100多 tokens/s，怎么秒有什么区别吗？跑ComfyUI时，虽然使用内存作显存缓存，但如果你是DDR5平台，效率还是可以接受的。我之前有4060 Ti，也测试过。如果直接接PCIe，不像我一样插在显卡坞上，而是接在主板上，哪怕是PCIe 3.0 x16带宽，跑起来的体验其实也可以接受，不至于慢到吐血。
但如果你已经从5070 Ti换成了3090 24G，那也没什么好后悔的。现在它通过Strata跑大模型，速度要吊打5070 Ti，毕竟解码速度快了一倍。虽然整体使用体验不会有一倍这么明显的差距，但毕竟更快了。另外一点是3090可以跑千问27B，可以把27B完全放到显存里，并且在INT8或者FP8 KV的情况下跑出128K甚至更长的上下文。这种体验比用Strata分层跑千问3.8 Flash Next，我个人感觉要更好。当然有人说千问3.8表现更好，这个见仁见智。论坛到目前为止，对于这两个模型哪个更强还没有统一定论。
如果跑ComfyUI，3090有24G显存、1T带宽，非常完美地能跑MiniMax H3、LTX 2.3这些大模型，在这一方面速度绝对吊打5070 Ti，因为不需要在推理时使用内存作为显存缓存。当然VAE阶段，这两张显卡都需要在内存和显存之间反复搬运数据、缓存视频帧，但那种压力很小。也就是说，在视频生成领域，3090 24G在可以预见的未来依然会吊打5070 Ti 16G。那么反过来，如果你现在手里持有3090，有没有必要升级成5070 Ti、5080呢？那就更没必要了。因为3090可以随便搭配一个洋垃圾，比如X99 CD3或者X99其他板子，五六百块钱，还送一个E5-2666 v3 CPU。DDR3内存随便买，便宜得很，白菜价。接入3090之后，你就是当下AI的王者，体验非常好，绝对是一等公民。无论跑大模型还是跑音视频生成，它都是一等公民。
然后我要说一下，论坛里基本上你们看到的所有硬件都有。你包括双卡RTX Pro 6000，甚至四卡RTX Pro 6000；这些大神还有512G的Mac Studio，然后RTX Pro 5000、4090 48G、7900 XTX、5070 Ti、5060 Ti、4080S、32G AI Pro、R9700等等，你们听到的卡，论坛都有详细作业。有人晒图展示自己的装备，有人分享详细测试数据、详细教程。你让AI agent把那个帖子复制下来，直接抄作业就能完成大部分部署，都不用交代什么细节，因为那些帖子都是用AI整理出来的，也在真机上实战部署过，确定能跑。有想学习、想抄作业的，或者你是大神，想分享自己的牛逼观点、部署方式、部署秘籍，想展示自己的实力或者装备，都可以到论坛发帖交流讨论。
对了，我还必须再提一下，今天我在论坛看到一件让我非常生气的事情。有一个憨批到论坛发帖，说他在京东买了一张显卡，这张卡是自营的，可能出了问题。别人放假，他很着急，联系京东客服。京东客服说要寄到原厂检修，检修完如果确定坏了再给他换，好像是这样。然后他就非常生气，问我们这些人是不是京东的托，是不是跟京东勾结好了。第一，我必须严正声明，我非常想跟东哥合作。我这个小频道就这点规模，京东要是能看上，给我放点广告，我何乐而不为呢？第二，我必须说明，我跟京东之家到目前为止没有任何所谓的PY交易，没有这种事情。人家那么大的平台，需要你这么1万多人的小频道吗？第三，我分享的所有东西，包括我们论坛所有人分享的东西，都是自己的体验。这个东西就是分享自己的实际体验，并不是给你什么保证。你到我的论坛看帖、看我的视频，又没有给我打一分钱，也没有跟我签订任何协议，你买到的体验好不好，跟我有什么屁关系啊？
第三，就是你到论坛发一个帖子，什么购买证明、什么单号、哪家店，什么东西都没有，就发一张随便发的聊天记录、聊天截图，然后就说我们这些人联合起来骗你，那脑子有屎吗？还有，我在视频中多次说过，我买的是京东自营的，并且商品由京东发货、京东负责售后。显卡坏了之后，我就把显卡邮寄到京东自营的仓库里，很快就收到了新的卡。很有可能是我给它发货时填了单号之后，它那边就立刻向我发货了，因为我的东西还在路上的时候，新卡就到了。如果你买的是京东自营的，但是由商家负责售后，那很正常。你发货到京东，京东肯定要商家验证之后，确认这张卡是在正常、合理使用的情况下坏了，才会给你换新。你几十岁的人了，买东西连这点常识都没有吗？这么屁大点的事情，这么大的人、几十岁的人。说实话，这张卡我不管你买的是什么显卡，4080S 32G还是4090、RTX Pro 5000，也就五六万块钱的事情；如果买的是4080S 32G，可能就是1万块钱的事情，买4090就是3万块钱的事情，就这么简单。那至于吗？总有刁民想害朕，你算是个什么东西呢？
-
-
