洋垃圾2080Ti 和V100是否值得买，二者怎么选？为什么主播喜欢用vLLM而不是SGLang NInfer等现代推理框架测试它们？
-
不知道怎么了，就想去睡觉了，然后一觉醒来，发现睡了十几个小时。当然了，中间模模糊糊地起来上厕所，或者说喝点水，也就这样了。哈，那既然做不了事情，那咱就放放水。就本期视频呢，就谈一谈，就是论坛包括这个最近油管上，有不少主播又在提这个 2080 Ti 的事情，啊，也包括有不少人在炒冷饭，提这个 V100 的事情。那么我本期视频呢，就讲一讲这个 2080 Ti 跟 V100 它到底坑在哪个地方，然后说现在值不值得买。如果说一定要买的话，到底是买 2080 Ti 还是买这个 V100。
首先呢我必须说啊，就现在还在测这个什么 2080 Ti 跟 V100 的，那基本上都是别人已经炒了多少次冷饭，就卡贩子的卡都出的差不多的情况下，怎么讲呢，叫 49 年加入国军，可能说手中还囤了一批货，现在可能准备再把这玩意给出货。呃，2080 Ti 是图灵架构，然后这个什么 Tesla V100 是 Volta 架构，比它要稍微再老一点点，但是二者的这个什么算力，包括这个对于硬件指令集的这个支持，基本上是同一个水平，啊，你就可以把它看作同一代架构。然后就是说 Tesla V100 比这个 2080 Ti 强在哪里，主要是强在它的这个带宽，它的带宽是 900 多 G，接近 1T，然后呃 2080 它好像是 600 多 G，只有它的 2/3。二者都是支持这个 NVLink，或者说更高速的互联，甚至说 V100 这些卡贩子在出手的时候，就给你提供双卡互联的方案。它单卡 32G，呃，双卡互联就有 64G。当然了，现在卖得比较多、比较便宜的，就是双卡 16G 或者四卡 16G 的互联方案。
就是我是一直不太看好这个 2080 Ti 的，主要是它的显存非常的尴尬，它是 11G 的显存，然后经过这个民间小作坊的魔改，把这个显存吹下来，再贴上翻倍容量的这个显存颗粒，把它扩展到了 22G。这 22G 就非常的尴尬，就你不要看它比 24G 显存只差两 G，很多时候你跑得舒服和不舒服就在这两 G。你比如说单卡跑这个千问 3.8 27B 是吧，24G 就可以跑得非常的舒服，像我的 7900 XTX 就可以保证所有的计算都发生在显存内部，不用这个内存跟显存交互数据。那么 2080 Ti 它 22G 就做不了，你跑 MiniMax H3 的时候，你有的时候能不能多那几秒，多那两 G 显存就非常的重要，所以它这个显存是它的硬伤。就在这一块你再怎么洗，它跟那个什么 Tesla V100 的这个 16G 显存都是工业垃圾啊，你再怎么洗都没有用。
第二呢就是怎么讲，它还有一个非常硬性的残疾，就是它跟 V100 还不同。V100 是这个数据中心的卡，我讲实话啊，就是正常你大船货来的这个 V100，就是从这数据中心拆机退役的。这些卡虽然服役的时间比较长了，但是它们的这个做工是非常好的。它是呃怎么讲，第一是 HBM 显存，第二是它们所用到的颗粒，包括它们的这个 PCB 板，都是为高强度工作、长时间工作、高负载工作设计的，那它们的用料相对而言就是更好。这个 2080 Ti 它是消费级的旗舰卡，但是它的散热也好，还是说它的做工也好，跟这个什么 V100 是完全不能比的，就它的用料是要差上一个级别的。而且使用环境，2080 Ti 也是矿卡的主力之一。它当然了没有 3090 用得那么多，没有 30 系列那么夸张，但是 2080 Ti 也是挖矿的主力。个人玩家手中的 2080 Ti 流出来给你弄到小作坊中去改，这种可能性已经是微乎其微了。
而且毕竟是魔改卡，这个玩意它大厂或者说二线显卡品牌厂商的代工厂是不会碰这个东西的，因为它不需要重新打板。它就是什么，用这个什么风枪，小作坊用这个风枪把显存颗粒吹下来，再贴上大一点的显存颗粒。就这张卡第一是它本身的工艺不如这个 Tesla V100，第二呢就是说它的这个扩容过程又是在小作坊里面，然后它长期工作的环境就是矿场。它跟人家那种无尘的、恒温的这个什么计算中心，这个就是 V100 的工作环境，跟这个比起来，那是差十万八千里。它的老化速度是要远远超过 V100 的。就是如果说从这个纯晶体角度来考虑的话，你就完全没有必要考虑去买这个什么呃 2080 Ti，你就直接去买 V100 就行了。
有人说那 V100 16G 也不行啊，是的，V100 的 16G 不行，但是它便宜，是吧？如果说你跑大模型的话，你就是专卡专用，那么你就买 16G 的 V100，你双卡也好，四卡也好，它总归是更有性价比的。它的这个互联方案，一般来说卖给你的那些卡贩子出厂就给你弄好了，给你弄一个专业的显卡坞，你把它接到你的 PC 上就可以了，非常的省心是吧？你 2080 Ti 买到手，你还得自己去找 NVLink，这玩意也不能说特别难找，但是论坛有很多人也是踩了坑的。还有如果说你要跑这个 ComfyUI，当然了，它们的 ComfyUI 生态就非常非常的烂，就因为它们没有这个 BF16 硬件算力支持，也没有这个 FP32，它们也是非常的 low。就跟这个什么 AI 时代的卡，就说 30 系列、图灵架构，包括什么 AMD RDNA3、7900 XTX 之后的卡比起来，它们的硬件指令集支持太差了，就算力实际上是 low 得一逼。但是呢无论如何，这个 V100 它 32G，它是一个 32G 的连续显存，它有英伟达的这个生态加持，32G 在跑 ComfyUI 的时候，它还是能够享受到这个连续显存带来的巨大的红利的。因为你 22G 相比于 32G，你就需要在很多工作流中，不是说一个两个工作流，在特别多的工作流中，你都需要在这个显存跟内存之间频繁地搬运数据。就在这一块，你不要说这个 V100 32G 比你 2080 Ti 贵，我说实话，贵多少都值得。
然后呢我也再跟大家提一个现象，你们自己可以去关注一下，就说现在测这个 2080 Ti、测 V100 的，他们大多数人用的都是什么？都是 vLLM。其实你们可以想一想，他们为什么不用这个 llama.cpp，为什么不用 SGLang？原因就很简单，llama.cpp 它是单卡单会话，它有它的优势，是吧？它很容易入手，它是新手入手的这个利器。但是呢这个显得就不专业，叙事不够，就没有逼格。但是 SGLang 呢，它虽然体验非常的好是吧，在长会话中、在实际干活的场景中，它可以说是吊打 vLLM，但是你要知道，它对于老卡的支持是非常的差的。就你旧的卡，你要自己去特殊编译版本、去指定参数，而且有时候它很多新的机制，它老的卡根本就用不了。像什么 2080 Ti、V100 这些卡，你就算把它 TP 起来，它的体验是非常差的。然后只有 vLLM 作为一个老牌的专业框架，它对于这个图灵架构、对于这个 Volta 架构的支持是不错的，然后又能够 TP，这样子能够跑出比较不错的测试数据。
比如说论坛中有些脑残去发文，说啊你看看你这个什么 PP 速度还没有我这个什么 2080 Ti 强，你这个什么 7900 XTX，或者说是什么其他的一些卡，你跑这个 SGLang 双卡 TP 的时候，你的 PP 速度都不够。其实这些人脑残在哪里呢？他完全不知道 vLLM 跟 SGLang 之间的本质鸿沟在哪里。就我们平时用 agent 来干活，无论是多轮会话，让它去管理论坛，还是开发 APP，它比如说有个什么 100K 的上下文是吧，我们再给它发一个新的问题，它并不会产生一个 101K 的这个新的 prefill。SGLang 是 Radix 缓存树，只需要计算新增的这 1K 就行了。所以哪怕它的 prefill 速度没有那么好看，它由于这个新架构带来的巨大红利，它的体验是非常好的。我在视频中多次给大家展示过我用 SGLang 开发的体验，就是长上下文呃多轮、十几轮，然后几百步之后，我给它发消息，它依然是秒回的。
但是呢我也跟大家讲啊，我一直不推崇 vLLM，是因为在我们个人玩家的这个市场中，我认为它就没什么优势。就是你低端的、入门的用这个什么 llama.cpp，高端的你就用 SGLang，追求极致性能的你就用什么 HaloGen、用什么呃 NInfer，它们都是在体验上可以说是吊打 vLLM。但是 vLLM 它面向的客户也不是我们这些屌丝玩家，人家面向的是一些中小企业，他们就是需要多并发，是吧，大模型多并发，这个短上下文，人家跟它聊天，应付的是这个场景，或者说呃 32K 以内的那种短任务，但是这些任务可能说并发量很大。在这一块，vLLM 的体验是比 SGLang 要更好的，它的这个参数跑起来是非常好的，而且它实际对于业务的支持也是非常好的。
就有很多主播，他给你展示什么场景，就说我在本地部署了一个千问 3.8 27B，然后说我这个办公室里面我什么八个人去访问它，去跟它聊天，然后看看这个响应的速度。你们动脑子想一想，你们在实际的部署中会有这样的应用吗？你八个人跟一个本地部署的千问 3.8 27B 去聊天，这他妈得有多脑残呢？你不会打开 ChatGPT 吗？是吧，你不会打开豆包吗？不会打开 DeepSeek 的官网吗，跟它聊天吗？是不是本地场景就没有这样的业务场景？那你说数据保密，我可以说呃 85% 的人他是没有数据保密需求的，是吧？如果说有一些特殊的数据保密的场景，那在这种时候你就更不能去部署这个 vLLM 加这种老旧的框架、老旧的显卡。为什么呢？因为你要常年干活，这个时候就没有云端的 API 来帮你了，那你这个 agent 的智能一定要够，一定要能够长上下文。这个时候你就必须要上 NInfer、上 HaloGen、上这个什么 SGLang。如果说你上的是 vLLM 的话，它当这个上下文变长之后，比如说达到 100K 以上，那个时候你就会知道它的速度有多慢了，你就会明白它跟这个什么 SGLang 的差距到底在哪里。
我也还是提醒大家，就说很多主播在给你做这些视频的时候啊，他最后也会轻描淡写地提一句，说唉呀这当然那里买这些旧卡、买这些什么洋垃圾，你们都要承担一定的风险是吧？看起来好像非常的公正、非常的客观。但是事实上，他们一个视频可能说十几分钟、30 分钟，他都在讲这个卡哎挺好玩的，啊，实力还挺强的。关于这个卡它本身的历史问题、它的这个什么做工问题、它将来的硬件风险，他可能只谈了一分钟。然后讲实话，别的平台我不去评价，就我的论坛还是有好几千人注册的，是吧？有美国的、有这个港澳台的、有东南亚的，也有我们大陆的朋友。那每天都会有大量的硬件测评，是吧，相关的这些呃推理框架、相关的软件、大模型的测评、AI agent 的测评，都有新的，然后有不同的人在发帖回复，在交流真实的看法。
就如果说这张卡真的这么好的话，2080 Ti 这张卡真的这么值得买的话，包括 V100 真的这么值得买的话，那我论坛的用户都是傻逼吗？我一个人是傻逼可以是吧，那几千个人都是傻逼吗？为什么关于它们的讨论量非常的少，只局限于少数几个帖子？而且我必须说，虽然我本人不推荐大家去买什么 2080 Ti，不推荐大家去买 V100，我经常在视频中喷它们是工业垃圾，但是在论坛中发布相关的测试帖子，我经常都是给它们超规格的待遇。因为这样的帖子比较少，我的论坛比较需要，就本来它没有达到置顶的标准，我给它置顶了；本来没有达到加精的标准，我给它加精了。就是我是希望大家能够通过真实数据、真实的测试数据去做对比。
当然了，我本身对着镜头逼逼，这个大家也要理解，讲实话呃混口饭吃嘛，是不是也不容易？但是我不是完全的瞎逼逼，毕竟我 N 卡也好、A 卡也好、苹果也好是吧，我都是有实实在在的部署经验。然后论坛这些所有的硬件 agent，包括这个什么推理框架，它都有大量的实测数据。我要么是杀过猪，要么是见过猪跑。
而且我都说过很多次，我本人就这个小频道，啊，就可以养活我。我还有其他的油管频道，而且我好几个油管频道都在挣钱。我在过往的视频中也多次贴出过我的这个盈利数据，啊，不能说大富大贵，但是让我慢慢地还债，让我这个过上一个基本的体面的生活是没有问题的。我是不需要恰饭的。我讲实话，已经加了我联系方式，包括说这个在邮件中跟我沟通、愿意给我钱啊让我进行商务合作的，我对他们的回复多半就是不成熟，啊，要等我频道再发展发展，等我的论坛再发展发展，以后再说。并不是说自我标榜自己高尚，而是我没有时间，也没有能力做出像别人那种非常专业的、测评视频就逼格显得比较的高。我现在这种状态跟谁合作，基本上都是要拖累别人的品牌形象。啊，与其这样就不如呃不要开始，省得以后相互抱怨。就人嘛就是贵在有自知之明嘛，知人者智，自知者明，是不是？就自己就是这么个水平是吧，咱就不装逼，啊，不贪。
-
-
-
-
網上還是很多人在折騰v100的, 我的v100 32G x 4跑qwen3.8 flash next就是用dg1kjd/sglang-v100-sxm2-qwen3.8-flash-next分支, Radix, L2 HiCache都用上了, prefill 2000K上下, decode 50-60 tok/s單流, 平均快取命中率 99.97% . 我沒有在v100跑ComfyUI的需求, 這樣我覺得很好了.
至於部署起來折不折騰嘛.. 在這個年代, 也不過就是耗些token的事情而已.. -
@soop-ladios v100 也能用sglang嗎?
@Kenneth-Wu 可以. 我四卡v100 32G x 4 的qwen 3.8 flash next是跑SGLang, 雙卡V100 32G x 2 qwen 3.8 27B是跑llama.cpp
