V100 16G搭配X99 + DDR3洋垃圾跑Strata，驱动Qwen 3.8 FLash Next是当下的性价比入门方案，一千多的高带宽GPU可以玩玩！
-
啊，评论区有网友提醒我说，V100 16G这张卡可能性价比比较高。为什么呢？因为它的价格比较便宜，一千二三就能买到一张。你买两张的话，大概也就是2500块钱以内就搞定，是吧？然后你搭配一个X99 CD3的洋垃圾，64G也好，还是128G也好，都还能够非常不错地跑这个千问3.8 Flash Next。框架就选当下最热的Strata，而且Strata官方专门为V100、2080 Ti这样的老架构，也就是Volta和图灵架构，基于CUDA 12.9版本发布了一个可以运行、经过官方实测的推理框架，就是Strata版本。
那么在这种情况下，怎么讲呢？如果你想入门尝试一下，就配个64G的DDR3洋垃圾，或者128G，96G也行，只要你的主板能把这些洋垃圾内存插上去，而且能正确识别它们，让它们正常工作。96G是一个比较推荐的门槛；配64G也行。那么你搭配一张V100 16G，就能跑出非常不错的体验。它可能比很多像4060 Ti这种显卡体验还要更好，因为它有1T的带宽，然后基础算力还可以。虽然没有BF16的支持，但是它的FP16在做大模型推理的时候也还是够用的，精度上的损失可以接受。
那如果社区有人喜欢用两张卡，你买两张也就两千四五的价格。当然了，如果你在网上买V100 32G PCIe版本，可能要4000多块钱，甚至将近5000块钱，我就不太推荐了，这就有点贵了。小玩怡情，大玩伤身，是吧？没有必要。然后我说一下，我推荐手里现在还没有像样显卡、想入门的人，去买一个V100 16G先玩一玩。不要指望它玩什么ComfyUI，体验都是比较入门的，能画画图。跑视频的话，你就是买5060 Ti，就是买4060 Ti，跑视频体验也不好。你先买一个回来玩一玩、入手一下，我觉得可以接受。
以前在我口中它就是洋垃圾，因为那个时候它纯粹属于垃圾，都不是洋垃圾的问题，就是毫无价值，跑大模型也不行，跑ComfyUI更是无从谈起。那么现在既然能够跑当下最热的千问Flash Next模型、最热的Strata框架，我觉得就值得新手入门一下。那你说我手中比如已经有了一张4090 48G，或者已经有了一张7900 XTX，你说我还值得买吗？我个人认为也是值得买的，原因很简单：你有4090 48G，像我，是吧，你就用来跑MiniMax H3；XTX也用来跑H3，不挺好的吗？是不是？你买一张或者买两张V100 16G，然后搭配比较大的内存，不仅可以用Strata驱动千问3.8 Flash Next，还可以跑长上下文、开多会话。当然了，它多并发有点问题，但是多会话没什么问题，效率还是可以接受的，应该说体验非常不错。
现在有一些Bug，上个视频中我也提到了，就是它在多个slot之间切换的时候，有可能会丢失上下文，丢失已经计算过的KV缓存，要重新prefill。这个Bug社区应该很快就会修复，我觉得不是什么大的问题。就是有很多人问我，说你怎么有的时候推荐大家买这个东西，有的时候又推荐大家不要买？我不是说了吗，硬件行情瞬息万变。在有些情况下，它确实不值得。它刚刚出来的时候，由于它硬性不支持BF16，有这个硬性的残疾，然后它本身16G显存又非常尴尬，32G版本又比较贵，那我觉得买这个东西的人基本上没有什么实际用途。除非你有特别的用途，比如有些公司有服务器，愿意买这些多卡的；服务器已经有了，有很多个PCIe插槽，就愿意买多卡16G或者32G回来跑大模型推理，跑一些老旧的框架，它是能用的。
现在随着AI技术的发展，AI本身就在帮助本地AI框架研发，就是用AI来帮助改善AI。在这种技术红利的加持下，很多原本不被支持、生态不好的架构，像图灵架构、Volta架构，也就是2080 Ti、V100，又咸鱼翻身了，迎来了新的希望。就是我必须说，它们的用途非常有限，即便是现在依然属于工业垃圾。但是问题就在于，你买这种垃圾，以后就不要指望出手了。买到手就等于这个钱烂掉了，包括我买DDR3 1866赫兹的拆机条，你就不要指望它以后还能卖钱了，你就当它没了。这个钱已经是地板价了，再跌能跌到哪里去？是吧？从你的脚脖子跌到地板上，它有什么区别呢？现在DDR4、DDR5的平台这么贵，一张新的显卡7900 XTX都给这些奸商炒到了8500，是吧？那你说它还有什么性价比呢？
哎，如果你就是想跑大模型，没有什么MiniMax H3这种生产任务，那我觉得你买这个V100 16G，买一张两张玩一玩，2000多块钱，买不了吃亏，买不了上当。这个也就相当于4060 Ti单张的价格了，就是二手卡，是吧？那如果买一张或者两张4060 Ti过来玩一玩，好不好呢？也不贵嘛，2000多块钱。现在能玩Strata，跑起来体验还不错，是吧？何乐而不为呢？
另外我在视频中再提一下，评论区有很多人，你们这个思维说实话是有问题的。就是你们不要觉得你提出一个问题，然后我在视频中对你这些问题的回复可能是比较嘲讽的心态。我说实话，我也被很多人嘲讽过，也经常会被别人打脸。这是个网络的世界，说实话，打个脸怎么了嘛？M自己蠢，是吧？自己在某些方面没有见识，然后又喜欢瞎逼逼、喜欢吹牛逼，被别人打脸不是很正常吗？我现在不要说在网络上被别人打脸了，我就是现实中被别人打脸、被别人嘲笑，我都根本不在乎。
把你人活在自己的世界中，偶尔跟外界接触一下，知道外界对自己的评价，然后你知道自己在哪些方面确实比较弱智、确实比较low逼，是吧？知耻而后勇。你把面子看得那么重要有什么意思呢？当年楚汉之争，刘邦跟项羽之间，可以说刘邦是受尽了项羽的侮辱，他的父母、他的老婆都被项羽抓住。项羽还要把他的父亲给煮掉、给烹掉。刘邦怎么说的？他说我们一起打仗，我们约为兄弟，是吧？我父亲就是你父亲，你要烹自己的亲爹，也分一块肉给我。你说多么无耻，是吧？但是这不妨碍他在经历了无数的耻辱之后，最后打败项羽。项羽最后身体被分成了几块，死无全尸。你说可悲不可悲？一代英雄就此落幕。
刘邦从亭长，可能说派出所所长这样的级别，一路成长为皇帝。包括他手下的名将韩信，也是经过胯下之辱，然后逐渐成大事。我们未必像刘邦、韩信这些人一样将来能够成大事，但是我们应该知道，作为底层的屌丝，我们生活中被羞辱的场景不会只是一次两次。生活不会一次两次打你的耳光，那耳光打起来绝对是接二连三的，叫屋漏偏逢连夜雨，福无双至，祸不单行。看开一点。你们跟我吵架，说实话是没有意义的。我是吃这个开口饭的，你们到我的频道来跟我吵架，本身就是给我增加热度，是吧？如果在我的频道跟我的论坛，你们跟我抬杠，你们又赢不了我，因为你们只要赢了我，我就把你们的评论隐藏了，把你们的帖子删了，是吧？你跟我怄气值得吗？多为自己考虑考虑。
-
-
-
-
hi 各位，想问问，
我问AI,
8gb 2060s 配合64gb也跑得动，
不过我再论坛找不到资料，所以想问问各位@Hudson-Wong
把AI说的PO出来看看。我将逐字学习。 -
-
-
@Hudson-Wong 可以，关闭多模态的话，0.1.44.1版本 ，IQ3_xxs 可以到25tokens/s，
，
@GooD2089 感谢回帖，看到老兄你第一个帖就是回复我，感谢。
让我有了个底，知道大概可以跑什么速度。
