Aimax 395的定制qwen 3.8 flash，prefill突破1000了，decode 40-50
-
地址：https://github.com/peonist-ai/halogen-flash-server
按照作者说法，是硬件匹配模型的1对1特殊优化，所以能这么牛逼
拉取docker安装试了，确实能达到他说的速度，并且质量我没看出有啥大的衰减
本来觉得aimax395就一台鸡肋，这个模型让它成为现在性价比最高的选择了 -
剛配置了 很快 感謝
AMD官方都不當一回事嗎 差距真大 -
@dardeaw-feng 对，可能版主不怎么玩AImax395，不知道这个模型出来对这机器意味着什么。以前这机器就一鸡肋，要么只能慢速跑好一点的模型如27b和flash，想要速度只能跑35B A3B这种，和DG Spark这种可以作为生产力的机器差距巨大。这个模型能跑出这个速度说明了机器潜力足够，完全也可以和DG Spark一样成为生产力，而且性价比高得多。
-
@dardeaw-feng 对，可能版主不怎么玩AImax395，不知道这个模型出来对这机器意味着什么。以前这机器就一鸡肋，要么只能慢速跑好一点的模型如27b和flash，想要速度只能跑35B A3B这种，和DG Spark这种可以作为生产力的机器差距巨大。这个模型能跑出这个速度说明了机器潜力足够，完全也可以和DG Spark一样成为生产力，而且性价比高得多。
-
@dardeaw-feng 你贴的观察基本都对，我把这个项目本身核了一遍（今天刚看的仓库/镜像说明），补几个能直接拿去判断的点。
一、它的快是「一颗 GPU + 一个模型」换来的，不是靠压比特
作者自己给的账：5.53 bpw、179.55B 参数、权重 118 GiB；同榜另外三家是 3.71 / 5.51 / 5.96 bpw。它反而是精度偏高那一档，32K 提示词 prefill 1424 tok/s，端到端比最快的那家快约 4 倍。也就是说加速来自手写 kernel + 投机解码，不是多掉几个 bit——这跟「我爱小猪」说「质量没看出衰减」的体感是一致的。二、RDNA 还有几倍优化空间？prefill 有，decode 基本没有
prefill 是算力活，通用引擎从没为 gfx1151 调过，这里确实能吃出几倍。但 decode 是带宽活：每个 token 都要把激活的专家权重从 LPDDR5X 过一遍，Strix Halo 是 256-bit LPDDR5X ≈ 256 GB/s，41.7 tok/s 这个 served speculative 数字已经贴墙了（而且里面已经含投机解码的加成）。所以别指望 decode 再翻几倍——再往上只能靠更高的投机接受率或更低 bpw，那是拿质量换。
参照物：GB10 是 273 GB/s，两者带宽本来就是同一档，DGX Spark 贵在 CUDA 生态和 20 核 ARM，不是算力代差。三、通用性差是真的，但原因不是「大佬玄学」
作者明说：只做 gfx1151，构建时硬拒绝其它架构，没有可移植层、没有回退路径。所以 @lefunet 说「换模型就不行」没错——它的定位是 appliance（这台机 + 这一个模型），不是通用 runtime。反过来说，如果你的活儿就是 Flash-Next，这个 trade 就是划算的。四、当专机用，几条比跑分更重要的注意
- 启动参数是 seccomp=unconfined + /dev/kfd、/dev/dri + --ipc=host + memlock 无上限，并且建议开 amd_iommu=off（作者实测值 13-16% prefill，代价是整机失去 DMA 隔离、NPU 一起没了）。意思就是「这台机交给它」：别和数据盘、内网混用，默认 8731 只绑内网，镜像 pin digest。
- 官方自己写的限制很实在：slot 固定、无 preemption 无 paging、过了 4 路吞吐涨得很慢；多路并发时投机解码会停摆，要单流才恢复。它是「1-2 路 agent 长上下文」的利器，不是多用户并发服务器。
- 权重 118 GiB、GTT 顶到 99.3% 的内存，这台机基本干不了别的了——对专机定位自洽，对「一台机什么都干」就不合适。
- 另外别忘了 terry 那半截：模型自己的思维链慢，prefill 优化是救不回来的。prefill 优化买的是长上下文的极低首字延迟，两件事分开算体感才不会被误导。
-
@dardeaw-feng 对，可能版主不怎么玩AImax395，不知道这个模型出来对这机器意味着什么。以前这机器就一鸡肋，要么只能慢速跑好一点的模型如27b和flash，想要速度只能跑35B A3B这种，和DG Spark这种可以作为生产力的机器差距巨大。这个模型能跑出这个速度说明了机器潜力足够，完全也可以和DG Spark一样成为生产力，而且性价比高得多。
-
@dardeaw-feng 对，可能版主不怎么玩AImax395，不知道这个模型出来对这机器意味着什么。以前这机器就一鸡肋，要么只能慢速跑好一点的模型如27b和flash，想要速度只能跑35B A3B这种，和DG Spark这种可以作为生产力的机器差距巨大。这个模型能跑出这个速度说明了机器潜力足够，完全也可以和DG Spark一样成为生产力，而且性价比高得多。
-
，
T terry 固定了此主题
-
特別注意這Docker是直通所有GPU資源給它，這不像正常Docker，看來是繞過ROCm這坑自己從驅動層重搞，
而且模型不能換，顯卡不支援其他RDNA卡，目前閉源，有可能是在找雇主或資源，
半夜特別去追蹤作者，這項目是近幾天才做的，作者手上只有Strix Halo所以暫時只支援GF1151
未來會加上27B模型，期待這技術能發展起來有更高的自由度，讓我們知道AMD的RDNA還有幾倍的優化空間....@dardeaw-feng 27B的一对一版本也出来了，没这个这么惊人，但是prefill也从300涨到500多。
https://github.com/peonist-ai/halogen-server -
@dardeaw-feng 27B的一对一版本也出来了，没这个这么惊人，但是prefill也从300涨到500多。
https://github.com/peonist-ai/halogen-server -
@terry 配好了也用了1天多了，基本和说明文档的一致，prefill从标准版的300左右直接飙升到1000以上，Decode稳定在40左右，体验比其他任何模型都好了太多，质量没有问题，作者也出了qwen3.8 27b的一对一优化版。现在DGX Spark涨价，价格快是AImax395一倍的价格了，AImax395性价比一下子起来了。具体技术方面的分析请@dardeaw-feng 来说下吧，总之海外论坛的人都在骂AMD不给力，自己做不到的让第三方实现了。
-
dardeaw-feng 说:
@dardeaw-feng 对，可能版主不怎么玩AImax395，不知道这个模型出来对这机器意味着什么。以前这机器就一鸡肋，要么只能慢速跑好一点的模型如27b和flash，想要速度只能跑35B A3B这种，和DG Spark这种可以作为生产力的机器差距巨大。这个模型能跑出这个速度说明了机器潜力足够，完全也可以和DG Spark一样成为生产力，而且性价比高得多。
qwen 3.8 flash next的prefill比較快我覺得主要是模型架構新而且又是MOE
要跑這個 優先去bios把調到96G/32G 然後linux下gpu驅動開GTT
剩下的把github連結丟給agent自己搞就好
實測有到1350tps 輕輕鬆鬆一路到131K都還有1300tps，曲線超平，Decode有到4Xtps，
這就是次世代超稀疏架構的特性但我發現....這種一條龍從驅動層做到推論框架、特製量化會讓人無法微調細節
然而我裝上後系統內存幾乎沒剩了，這閉源項目又沒辦法多擠一些空間回來，
我機器買來是為了通用不是特用呀，小盒子沒留空間可以玩別的反而可惜
我丟一堆數據文 不如寫寫這樣的心得給大家分享我測來玩玩 主要的目的就是為了證明那一句- "AMD戰未來" 但未來都是開源社群回饋的...........
當然有人說買迷你機很划不來性價比低，但我年初買395花了15000元我玩得很開心，如果是現在的價格我完全不會買，
那些買兩台三台DGX Spark為了跑通本地DeepSeek V4甚至想挑戰V4.1的兄弟們，我深感佩服，
要玩大模型當然是云服務付費比較超值，現在白嫖、特價的模型比比皆是，會本地配置的都是為了男人的天性-樂趣，
但我認為花錢買到的東西性能沒被釋放 一定要追根究柢，
AMD還有好大的空間可以走 我之前就是被官方宣稱ROCm 7進步了幾倍就買了....但事實就是還差很多
騙錢的手段太粗暴 軟件上的優化工程就還沒到位 -
已装。亲测已达可用状态。原来问个你是谁。30分钟回答不了。还失联。现在40t/s确实和在线模型差不多了，真的感谢推荐。搞这个出来的是个神！强烈推荐。加载这个模型就剩900m的内存了。用到尽的资源了。
-
已装。亲测已达可用状态。原来问个你是谁。30分钟回答不了。还失联。现在40t/s确实和在线模型差不多了，真的感谢推荐。搞这个出来的是个神！强烈推荐。加载这个模型就剩900m的内存了。用到尽的资源了。
-
@张光璞 肯定是linux，這項目都是docker在windows搞根本災難
Windows搞docker背後還得用WSL2
1.模擬器開銷 會掉些性能
2.驅動配置麻煩
3.內存管理非常垃圾，VRAM最大只能配到96G，還會VRAM系統RAM雙重載入
4.OS本身垃圾背景服務站用沒意義的內存
5.我最痛恨的就是WSL下任何移除檔案都不會立馬釋放存儲空間，還要另外下指令去針對映像檔瘦身現在SSD跟DDR5貴到天上去，我都還沒提到NTFS這老舊的檔案系統....一點防護性跟安全性都沒有
之前移動設備的戰役吃鱉了，Windows已經跟不上AI時代了，硬要搞copilot跟AI PC出來騙
Open Office搭Agent也是趨勢，未來隨時可以挑戰O365，
現在連Steam都在Linux 了，連遊戲的護城河都有可能守不住了，
除非你還有一些遺產系統或是舊的專業應用，否則windows未來會被淘汰 -
，系统 取消固定了此主题
