极客造AMD黑神话：HaloGen帮助AIMax395/400翻身，专为StrixHalo定制，调优Qwen3.8 Flash Next，Qwen 27B也大幅受益！
-
万恶之源就是前天和昨天发的两个视频。我数落了一下 AMD，说它已经完了，已经被淘汰出小主机的主流竞争了，然后老黄是最大赢家。苹果一开始是 256G，我认为它能跑 DeepSeek V4.1 Flash，后来证明不能跑，可能要 512G 的，那它瞬间就不香了。
苹果这边有很多用户表示，自己确实是避了坑。本来打算买 256G 的，但是后来都是买了 96G，或者 64G 的 Max 版本。那么对于这些用户来说，他们肯定比较乐意看到这种状况，反正买 256G 你也跑不了，索性就退到 96G，或者买 Max，就不要买 Ultra 版本了，这样也是行得通的。
但是我不得不说，我在视频中有很多地方表达得不对。我也没想到，我这个论坛中还有不少 AMD 的粉丝。其实从后台可以看出来，搜索最多的就是什么 7900 XTX、R9700，然后才是什么 4090、5090 之类的。因为早期我这个频道做起来，就是因为我推广 7900 XTX 这张显卡，我当时做了不少测试，所以我的观众中有很大一部分是 AMD 的粉丝。
那么我主要有哪些地方表达错误呢？就必须要给 AMD 道歉。我不是说嘛，说 AMD 这么多年什么创新都不搞，就跟在老黄后面抄作业，看到老黄赚到钱了，不想着给我们玩家出点有价值、有性价比的产品让利给玩家，就想着跟老黄一起收割，无耻。
但是有人就指出，说 AMD 这么多年还是有贡献的。比如 Vulkan 这个驱动，就是 AMD 支持做起来的，然后 AMD 这么多年对于开源社区的贡献是很好的。我突然间想起来了，是的，以前我在视频里讲过。那个时候 Linux 的内核维护者 Linus 大神，在视频中对着英伟达竖起中指，说了一句“F 什么 NVIDIA”。老黄当时做得确实比较无耻，所以 AMD 的历史贡献我们是不能抹杀的。
但是这个小盒子本身能不能抢救呢？有人跟我讲，是可以抢救的，而且人家 AMD 有这个定制版的 Qwen 3.8 Flash，prefill 都突破 1000 了，decode 的速度是 40-50，还给出了 GitHub 开源项目的链接地址。
我们到 GitHub 上来看一下。这是我用谷歌翻译让它翻译了一下，它本来是英语的，叫什么“卤素闪光服务器”。它应该是叫 HaloGen。AMD 的这个小盒子不是叫 Strix Halo 吗？这个 Gen 就是产生的意思，只是这两个单词连到一起成了“卤素大灯”。
这个项目是干什么的呢？它是给 AMD 的 Strix Halo 平台，就是 AI Max 395、400，给这个平台做了一个专机专用，而且是专门针对 Qwen 3.8 Flash 的 AI 推理服务器，就类似于 llama.cpp，类似于 vLLM 或者 SGLang。
然后它这个玩意做得还比较先进。我就问了一下 GPT，它说在使用 Qwen 3.8 Flash Next 这个模型的时候，它本身相当于是一个定制版的 SGLang。它不仅是 prefill 的速度很快，decode 的速度很快，而且还有 KV 缓存的增量运算。如果搭配 DeepSeek Harness 的话，它的体验会不错。
当然了，你肯定不能跟 SGLang 加上 4090、5090、RTX Pro 5000、6000 这样的计算能力比较强、带宽比较高的专业卡相比，但是它作为一个小盒子，体验肯定是很不错了。而且它目前这个东西只针对 AMD AI Max 395、400 这些小盒子推出，就是 Strix Halo 这个家族。
我这个显卡现在又吵得很，我不知道后期能不能把它剪掉。如果这个杂音去不掉的话，到时候大家见谅一下。这个就是用 4090 这种魔改卡，甚至说你用 RTX Pro 5000 也难免。如果你坐在服务器旁边，它这个噪音响起来的时候是非常大的。
我们论坛的讨论气氛是非常开放的。虽然我在视频中比较强势，我经常喷某某产品就是垃圾、某某公司就是垃圾，但是事实上，如果论坛中有人能够给出比较好的数据，能够以事实来证明这些产品不垃圾，有它们的用处，我还是会承认的。像这些哥们，我都是承认的，而且我还给他们的帖子置顶。
然后我们看到论坛中有一个人，用 AI Max 395，他不是去跑 Qwen 3.8 Flash，而是给它移植一下，看看能不能跑 Qwen 3.8 27B。最后得出来的结果也是非常漂亮，相比于 llama.cpp，它可能提升了一倍左右，这个速度提升很大。
之前我们喷 AMD 的这个小盒子，就是因为它跑 Qwen 3.8 27B 这样的稠密模型时，体验比较拉胯。但是如果它的速度能够再提升这么一倍的话，那它这个体验就是可以接受了。
最关键的是什么呢？目前这个 Qwen 3.8 Flash Next 模型是阿里巴巴第一次发布，它有没有后续，这个不好说。这个模型虽然也不错，在其他平台可能推理有点慢，但是经过这个作者优化之后，经过 HaloGen 这个推理框架优化之后，它在 AMD 的小盒子上表现非常不错。
但是我们不能保证以后千问家族还会推出类似的 125B A6B 后续模型。如果阿里巴巴持续推出的话，那么 AMD 的这个小盒子就持续有价值。
并且我之前不是说了吗？AMD 的小盒子是纯种的 x86 平台，它的 CPU 是纯种的 x86。它的这个小机器拿过来，你说办公也好，平时剪剪视频也好，玩玩游戏也好，它玩游戏差不多跟 4060 Ti、4070 处于同一个水平，那它的作用就大了去了。
又能跑 AI，又能玩游戏，又能办公。AI 大模型除了 Qwen 3.8 Flash，它还能够再跑一跑 Qwen 3.8 27B。这个可以说是经过几次迭代，被公认为目前地表上性价比最高的本地小模型，就是它了。这个家族阿里巴巴一定会持续不断地完善，持续不断地推出新版本。
有了它做打底的话，如果它也能跑，那么 AMD 就支棱起来了。那我就必须要给苏妈道个歉。我不能老说她这个表舅厉害，她就不行。这么多年，她也为开源社区做出了不少贡献，把 Vulkan 这个驱动做起来，就是最大的贡献之一。
那这个时候总得找一个人来垫背，那找谁呢？那就只能怒骂英伟达：垃圾，欺骗玩家的感情。还有我们一众所谓的国产 AI 芯片公司，你们也应该拿出一点有诚意的小盒子了。
然后再说一下论坛的等级制度。新人实际上拿到积分是很容易的。你看这位哥们三天前注册，就拿到了 10 个积分。这个积分就是别人看你的帖子不错，给你点赞，那你就能拿到积分。你拿到 3 个，发帖就不怎么受限制了，上传图片什么的，一分钟之内发几个帖子都是可以的。
上涨到 10 分之后，就会得到一个标签，叫做“德高望重”。但是这个是小特在后台打的，并不是实时的。一般来说，可能到明天你就能看到这里会多一个标签。
我们论坛有很多大神，人家现在都搞到了什么样的等级呢？目前最高的已经是“至尊王者”，300 分以上是至尊王者。100 分以上的就是“超凡大师”。你能达到超凡大师这个级别，基本上论坛能够给你的权限就全部开放了。
除了创立群组之外，可能必须要到至尊王者才能去创建群组，其他权限你该有的都有了。你看谁不爽，也能够给他禁言。但是要封禁，那就只有超级版主才可以做。我们论坛的超级版主，加上我是 7 个人，这样刚好可以投票决定论坛的重大事务。
最近一段时间，我在论坛上面加了一些功能，就是把比较流行的这些硬件的基本信息都整理进来了。它的参数都是跟官方以及维基百科核验之后贴上来的，让 AI 总结了它的一些特点，然后相关的帖子都列出来供大家参考。这个就是让新人能够快速入门。
当然，有些硬件并不是说一定有帖子，因为有些硬件比较冷门，但是热门的基本上都有了。
目前论坛对手机端，包括 PC 端的适配都做得非常好了。APP 开发我已经基本上完成了，只是没有时间做最后的测试。因为 APP 涉及到很多复杂的小功能 Bug，讲实话，你让 AI 测，测不出来的，必须要人去测。
我暂时就没有时间，可能等国庆节，或者晚一点到春节的时候，我抽出能够连续一个星期的时间，把它详细测一下，把这些大的 Bug 都修复掉，然后再把它上线。
大家对我有什么意见，批评指正都可以，欢迎到论坛发帖。我从论坛也是获益匪浅。讲实话，我并不是什么都懂，也不是什么硬件我都买了。但是苹果、AMD、英伟达这些硬件我都有，然后我自己也是长期基本上什么样的推理框架、什么样的 ComfyUI、这些模型我都玩过。再加上论坛有大量真实实测的帖子，我通过他们的实测数据就可以云一下。
-
