5060Ti 16G成AI舒适区守门员？Strata降低LLM门槛的最大受益者，NV FP4红利吃满。4060Ti，4070Ti Super 5070Ti也拿到体验卡！
-
啊，Strata 还是一如既往地火热。那么它把这个跑大模型的甜点显卡配置，显存要求从 24G 干到了 16G，甚至很多人在 12G 的 3060 上跑起来也还能跑。但是综合论坛各个帖子的测试体验，可能 16G 显存是一个比较好的入门选择。而且有很多人手中有了一张 16G 的显卡，他想配另外一张 16G 的显卡，组成双卡 TP 来跑这个大模型，这样的体验就会非常好。比如说非常常见的就是两张 5060TI。那么两张卡用 TP 来跑这个大模型的话，它的功耗也不高，然后 TP 起来它的效率也很高，这就是一个黄金的甜点尺寸配置。
当然，也有不少人问，4060TI 行不行？是吧，4070TI 行不行？4070TI Super、5070TI 行不行？首先就是 4070 Super，包括 4070，它是 12G 显存，我们就把它排除掉。本期视频主要谈四张 16G 显存的卡，就是 4060TI 16G、5060TI 16G、4070TI Super 16G、5070TI 16G。
那么 5060TI 相比于 4060TI，它的进步是非常大的。首先它的算力稍稍有所提升，但是它在硬件架构上支持了 NVFP4，这是一个非常大的红利。就是说，现在社区已经有不少针对 NVFP4 专门优化的分支出来，包括 Strata 也好，还是跑 llama.cpp、vLLM，或者其他的一些框架，都有专门针对 NVFP4 优化的格式。在这种情况下，它的红利在跑大模型的时候是能够得到比较不错的释放的。当然，在 Strata 上面，我们只能说这种感觉叫怎么讲呢：你 4060TI 可能跑起来还是比较舒适，但是 5060TI 你如果优化得好的话，尤其是两张卡，它很有可能跑得飞快，跑得非常爽。
另外，5060TI 相比于 4060TI，它的带宽提升了 50% 多，就从 288G 好像是提升到了 450G 左右，440 多 G。那么它在大模型推理的时候，效率要高很多。然后，5060TI 跟 4060TI 都是 PCIe x8 的接口，但是 5060TI 是 PCIe 5，4060TI 是 PCIe 4。如果说你本人的主板比较好，支持 PCIe 5.0，那么双卡 TP 的时候，你的带宽比 4060TI 两张要高出一倍，通信效率要高很多。在双卡 TP 的时候，5060TI 毫无疑问是要吊打 4060TI。就比如说你双卡 TP 跑 SGLang 或者 vLLM，去驱动千问 3.8 27B，在这种情况下它能把模型完全装入显存中，推理效率会强不少。加上 NVFP4 的加持，速度体验会好很多。那么 4060TI 两张，TP 也能跑，但是受限于带宽，它的表现就没有 5060TI 这么黄金、这么舒适。
而且我们需要知道，就是在跑 ComfyUI 的时候，由于两张显卡都是 16G 显存，MiniMax H3 也好，包括 LTX 2.3 也好，这些比较流行的视频模型，4 比特量化之后依然没有办法放到显存中去。ComfyUI 也不能支持双卡 TP，你还是要把它放到显存跟内存之间作为数据交换，就是用内存作为 offload。在这种情况下，由于 5060TI 是 PCIe 5.0，虽然也是 x8 接口，但是带宽是 4060TI 的两倍，在内存和显存之间进行数据搬运的时候，效率要高很多。虽然大家都是用内存作为 offload，体验都会慢成狗屎，但是 5060TI 会慢成一坨能吃的狗屎，4060TI 会慢成一个已经凉了的狗屎，下不了嘴的狗屎。总之，5060TI 是吃足了生态的红利。
当然，显卡的规格如果再提一提，提到 4070TI Super，它也有 16G 显存；5070TI 也有 16G 显存。那么 5070TI 的表现肯定比 5060TI 要强很多，因为它的带宽已经达到了八九百 G 吧，好像是每秒，这就非常高了。4070TI Super 好像也达到了 700G 左右。这个时候，它们的显存带宽已经不是什么瓶颈了，算力也基本上够用，差就差在显存是 16G。
如果说是单卡加上大的内存来跑 Strata，那在这种情况下，两张卡都是够的。因为 4070TI Super 虽然是 PCIe 4.0 接口，但是它是 x16 接口。它接入一个 DDR5 平台，价格比 DDR5 平台内存要便宜一半，总体上大概也是要便宜一半左右。而且能够非常容易地找到 AMD 的 EPYC 洋垃圾套餐，就不用个人消费级平台了，用服务器平台，AMD 的 EPYC CPU 加上对应的主板，能够非常轻松地找到四通道、八通道，组成 128G 的这种板子。几个月之前，华南金牌的板 U 套装好像只有 3000 块钱。然后你给它插满四根 32G 的，组成 128G 八通道的 DDR4 内存，那么它的效率比双通道的个人消费级 DDR5 内存带宽要高很多，而且价格可能跟 DDR5 平台组 64G 差不多。
并且我们要知道，PCIe 5.0 的主板现在虽然支持你同时插两个显卡上去，但是它们大部分有两种形式：一种是把 PCIe x16 拆分为 PCIe x8 加 PCIe x8；或者是一条 PCIe x16，另外一条没有直连 CPU，走主板上其他的芯片组；另外一种是 PCIe 5.0 x4 接口。那它双卡 TP 的效率，讲实话，第一种情况是和 DDR4 平台的 AMD EPYC 洋垃圾加上 4070TI Super 持平，第二种情况还不如 4070TI 加上洋垃圾。这个弯子大家能不能绕过来？可能讲得比较拗口。就是说，当对比对象升级为 4070TI Super 与 5070TI 之后，DDR4 平台搭配 4070TI Super 16G，它的性价比往往比现在最新的 DDR5 个人消费平台搭配 5070TI Super 效果更好。单卡是如此，双卡就更是如此了。
所以说我认为当下有两种黄金的配置。第一种就是买个人的 DDR5 平台主板，找到 PCIe 5.0 x16 能拆分成两个 PCIe x8 的主板，搭配两个 5060TI 16G。你把内存干到 64G，它在跑 ComfyUI 的时候速度虽然慢，但是能够接受。甚至说你把内存再稍微提一提，是吧，干到 96G、128G，那么你两个显卡虽然都是使用内存作为显存缓存，再慢，总体上的速度还是可以接受的，很多工作流都是能跑的，然后总体上的功耗也是可控的，这个平台也非常新。跑大模型的时候，你是两张显卡一起跑同一个模型，还是给它们分开，搭配不同的内存，比如说你是 128G 的 DDR5 内存，当然了也比较贵，那你搭配这两张显卡来跑两个 Strata，也是可以的。当然你也可以两张显卡一起工作，加上大的内存一起来跑，这样的效率也是很高的。这是一种比较经典的配置。
当然，这种配置比较奇怪，适用于你手里已经有了 DDR5 平台、大内存的主板，或者说你内存已经有了 64G，你再想升级一下。在显卡如此贵的情况下，你这么折腾也还是有点玩法、有点意义的。或者说你就折腾 64G 内存，加上 16G 的 5060TI 单卡，也能这么玩。
那么如果说你手中已经有了 4070TI Super 16G，或者有个 4080 16G，你不是买的魔改版，就是原厂原汁原味的，那这个时候你要跑大模型，或者想用内存作为 offload，用单卡去跑 ComfyUI 视频工作流，可以去买一个 AMD 的洋垃圾 EPYC 平台，为它配上 64G，甚至是 128G 的大内存，它也是能够比较充分地发挥 4070TI Super 或者 4080 的效能。当然了，如果说你买这个平台去搭配 5070TI、搭配 5080，行不行呢？当然也是可以的嘛，是不是？因为 5070TI 跟 5080 是向下兼容的，它只是把自己的 PCIe 5.0 x16 接口降级为主板的 PCIe 4.0 x16 接口，但是你要知道，它毕竟是完整的 x16 接口，这个效率还是比较高的。
虽然它比起 7900 XTX、3090 24G 这种卡，可以把 MiniMax H3 的工作流完全跑在 GPU 内部、完全跑在显卡内部，在 GPU 和显存之间交换数据，这种情况要慢，但是由于英伟达驱动的优化，这个慢的程度，我个人说实话是可以接受的。在这种情况下，你单卡 4070TI Super 16G、4080、5070TI 或者 5080，搭配一个 DDR4 平台的洋垃圾，给它搞到 128G 内存，按照这个方向升级，跑大模型跟跑 ComfyUI 都是可玩的。如果说你有两张这种卡，那可玩性就更高了。因为你要比较流畅地跑起 Strata，64G 内存加上一张 16G 显卡就能跑得比较体面；另外一个你剩下来的 64G 内存加上 16G 显卡，又可以用来跑 ComfyUI。你这一套平台就能够同时跑大模型加 ComfyUI。慢一点，这个并不是像 AMD 的显卡一样，一旦降低到内存缓存、内存作为显存的 offload，就慢得跟屎一样。英伟达也是慢得跟屎一样，但是是可以接受的屎。
所以说，每一段时间，由于技术的进步，就会有不少甜点的卡出来。但是围绕这个甜点卡怎么打造硬件生态，这个对于你本人的硬件知识还是有一定要求的。那我喜欢这么逼逼呢，是因为我什么卡都有，是吧？像我有 4060TI 16G，我有 7900 XTX，我有 4090 48G。当然了，我没有去买 50 系列的卡，未来可能也暂时不会考虑。我还是想等洋垃圾，我是不相信硬件的价格会一直持续这么高下去的。就算它高下去，按照我目前的配置，我最多再买一张 R9700，或者再买一张 7900 XTX，那么我未来三年都不会缺算力。我相信三年之后价格一定会降下来，我就不会再加大规模投资了。我本人在这一方面还是有一点经验的，然后苹果的平台我也有。
所以说，我个人的经验加上论坛有大量相关硬件的测试帖子，什么情况下什么卡搭配什么主板、搭配什么内存，能够达到一个能玩的地步、能用的地步；什么样的案例属于纯粹炒作、纯粹用来玩票的，这种案例我还是分得清楚的。就是我给大家提的配置，一般都是你买了之后能够真正投入生产，不会让你尴尬到蛋疼的配置，它是有一定实用价值的，好吧？如果说你也有自己的意见想要发表，或者想要纠正我在视频表达中的某些错误，或者你有其他比较新奇的配置，就好像早期大家发 170HX 这张卡，如果早期价格跟白菜价一样的时候已经买到的人，你能够玩起来，你早一点到论坛发帖，是吧，说不定能够带动很多人。也欢迎你们在评论区留言，或者到论坛发表意见。
-
-
