Radiance兴起，vLLM魔改分支独立，特有显卡P2P机制让LLM多并发体验远超Strata，也能支持Minimax H3多卡TP，AMD显卡用户迎来生态红利！

[terry]

论坛最近一段时间的技术革新是非常活跃的，就是跑这个 Strata，包括 7900 XTX 单卡、双卡，是吧，跑这个 Strata for RDNA3，然后或者是双卡跑这个 MiniMax H3，都有非常不错的数据，也让 7900 XTX 这张卡成为神卡。但是我们不要忘了啊，这一轮技术革新的基础，是我们 Bunsei 老兄发起的。他发的这个《双 R9700 折腾记：从 Strata 到 Radiance》，为后续的一系列帖子提供了技术基础。主要是什么呢？就是 Radiance 解决了 AMD 显卡双卡通信效率比较低这么一个难题。然后这个帖子又启发了后续我们 FCYS 那位老兄。他因为 Radiance 不支持 RDNA3，自己手搓了一个支持 RDNA3 的版本，把这个加速的福利从 R9700 这张卡扩展到了 7900 XTX。他自己当时测试的时候用的是 W7900，也就是 7900 XTX 的 48G 官方版本。后续我们论坛的雄杰高，包括烘焙老兄，他们进行了一系列验证，这才给大家带来了很多福利。这也改变了我在视频中对于本地显卡的推荐逻辑，让 7900 XTX 这张显卡再次成为神卡。但是我们也不要忘了，实际上 R9700 这张卡的性价比也是非常高的。

那么我在视频中曾经提到，Radiance 是怎么说呢，相当重要，是一个非常重要的概念。由于我最近比较忙，就没有时间来讲这个事情。那么本期视频我们还是把它讲一下吧，就是它到底带来了什么东西。Radiance 它是什么？按照我们 Bunsei 老兄的介绍，看一下我自己让 DeepSeek 给整理了一个图。它是一个独立于 ROCm、独立于 Vulkan 的这么一个新架构。它最主要的特点就是自研 P2P，然后它还有插件化内核。但是它是专门针对 RDNA4，也就是说 R9700 这一代显卡来设计的。目前它没有支持 RDNA3。这个作者说想要加入 RDNA3，但是没有明确的时间表。社区已经有魔改版本了，也能在 RDNA3 的卡上跑起来。它一开始是基于 vLLM 的一个分支版本，现在已经从 vLLM 独立了，用 C++ 来重新写，就不依赖以前的 Python 那一套、PyTorch 那一套了。相当于怎么说呢，它是 vLLM 的一个变种版本，但是是用 C++ 重写的一个变种版本。那么它跑大模型的效率是非常高的。

我们 Bunsei 老兄发了测试的帖子。它相比于 Strata 有什么优势呢？我们知道 Strata 虽然跑起来之后，长上下文、复杂任务的效率不错，但是它对于多会话的支持比较糟糕，本质上不支持多并发，它的并发其实就是排队机制。但是在某些情况下，对于我个人来说是无所谓的，我反正用本地模型就是为了让它们去做长线任务，是吧，它排队不排队、是否实时，对我来说根本没有任何区别。但是有些老哥的业务场景需要真正的并发，而不是排队，这一块 Strata 就有点力不从心。那么 Radiance 由于是从 vLLM 魔改而来的，我们知道 vLLM 的并发机制相当不错。它可能在极致的情况下比不上 SGLang，但是相对于 llama.cpp、Strata、NInfer、GGUF 这些架构，vLLM 毕竟是老牌的、以支持多并发著称的框架，它在这块的体验肯定更好。

这个我们 Bunsei 老兄的帖子大家可以看一下，编号是 2417，我已经给他加精了。它在 8K、16K、32K、64K、128K 以及 200K 上下文都测试了速度。它跑的模型是 IQ4 版本，然后对比的是 Strata IQ3，效果是更好的。让我们看一下论坛 Link 老兄发的帖子，就是抄作业的帖子。他做了详细的并发测试，并且给出了各种图表。我就不跟大家详细讲解数据了，就说从这个数据上来讲，非常优秀，尤其是它能够支持 6 并发，而且是 6 个 256K 上下文的生产配置。他也尝试了 8 并发，据说有点不大给力，8 并发可能就需要把上下文长度砍一砍，但是也能做到 192K，也就是 200K 左右。那这个生产我认为就相当牛逼了。

那么如果你手中有 AI Pro R9700 这张卡，它是支持 FP8 的，有这个红利。这个框架本身对于 FP8 还是有一定依赖的。当然了，将来包括现在社区的移植版本，你没有 FP8 也无所谓，你有 BF16，只是效率没有 FP8 这么高；如果你能用 INT8 推理也行。总之，目前已经确认 RDNA3 的卡、AI Pro R9700，都可以解决 Strata 的痛点，就是它不支持真正的并发。那么双卡 R9700 不便宜，也得有 3 万块钱，你们可以根据自己的情况选择一下。在这种体验上，我觉得它肯定是要比 4090 48G 单卡更好。4090 48G 现在也得 3 万多，我个人觉得还是 RDNA3 的卡、双卡 R9700 更有性价比。最主要的并不是谁跑得快、谁的并发量大，最主要的还是这个卡是新卡，它本身的保修、本身的稳定性不用太担心。魔改卡我在视频中多次强调，虽然我的第二张卡已经坏过一次，换了第二张卡，用到现在没有任何问题，但是我也只能告诉你们，我买的是京东自营的，京东的售后还是比较给力的。如果再坏，我的体验肯定就会相当不好了。是吧，但是你从第三方买，我相信你的体验会更差。多一事不如少一事啊。

这个双 R9700，它 TP 跑 MiniMax H3，已经可以确信肯定比 4090 48G 效率更高。论坛有详细的测试数据，也是 Bunsei 老兄发的，你去找一找 Bunsei 的帖子就行了，关注一下他过往的测试。那你说以后这个架构，现在是社区有人做分支版本，让它支持 7900 XTX，也就是 RDNA3 架构。你说它搞成跟 R9700 体验差不多的可能性高不高？我认为非常高，90% 以上的可能能搞定，可能体验略微牺牲那么一点点，但是不致命，甚至性价比可能更高一点。因为这个 7900 XTX，两张卡现在才 15,000 块钱，相当于是 R9700 的一半。它可能搞不了 6 并发，但是我觉得跑个 4 并发完全没有问题，而且速度上可能还更快一点，因为 7900 XTX 的算力包括带宽都比 R9700 更强。它只是不支持 FP8，它的内存是 24G，这个 AI Pro R9700 是 32G，就是这个差距。但是 7900 XTX 也有 INT4、INT8，在我们本地跑推理的话，哪怕回退到 BF16，推理速度有所下降，它能跑四个并发，而且还是能够维持比较体面的解码速度。

我们看一看啊，我也让 DeepSeek 整理了一下 Radiance 的工作图。首先发起请求，然后 Radiance 框架进行调度，调度好之后用它自己特有的 P2P 通信内核进行多卡张量并行，然后底层调用 HIP 驱动。HIP 就是 AMD 写的显卡底层驱动，它会直接在内核层面执行你上层的指令，最后再把结果聚合返回。我们还要再强调一下，Radiance 不仅可以帮助我们提升大模型的运行效率，也能够帮助我们在 MiniMax H3 这样的模型上做双卡 TP，为我们提供底层基础设施，利用它的 P2P 通信机制。这个已经经过论坛实测了，我在之前的视频已经发过了。这还得去看 Bunsei 老兄的帖子。我们这位老兄的贡献毋庸置疑，升级的速度也是非常快。看到没有，就是这个帖子启发了我们论坛一轮超长的双卡 TP 革命，都是 AMD 显卡主打的。

当然了，类似的机制，我必须跟英伟达新卡的用户说，你们一定能找到。我本身也是 N 卡用户，知道吗？我的 N 卡比 A 卡要多。我只是在视频中讲 A 卡讲得比较多，是因为 A 卡这些生态比较宝贵、比较稀缺。N 卡类似的机制多了去了，你们自己去研究就行了。最后呢，我会把这 4 张图，也就是一些基本的原理图，都放到我这个视频文字版的帖子中去。然后我会把 Bunsei 老兄，包括今天测试的 Link 老兄，他们两个帖子的链接放进去。有需要参考的，你们可以去看一下。是吧，我也会把 7900 XTX——哦，这个我就不放了吧，要不然帖子内容太多了。你们自己去网站找烘焙、找雄杰高，他们两个人的帖子去参考，还有 FCYS 的帖子，你们去参考就行了。

[terry]

Youtube Video

[williamlouis]

也是一路看着小霸王学习机7900XTX一路封神。
一路身价倍增。