Aimax 395的定制qwen 3.8 flash，prefill突破1000了，decode 40-50
-
@dardeaw-feng 对，可能版主不怎么玩AImax395，不知道这个模型出来对这机器意味着什么。以前这机器就一鸡肋，要么只能慢速跑好一点的模型如27b和flash，想要速度只能跑35B A3B这种，和DG Spark这种可以作为生产力的机器差距巨大。这个模型能跑出这个速度说明了机器潜力足够，完全也可以和DG Spark一样成为生产力，而且性价比高得多。
-
，
T terry 固定了此主题
-
特別注意這Docker是直通所有GPU資源給它，這不像正常Docker，看來是繞過ROCm這坑自己從驅動層重搞，
而且模型不能換，顯卡不支援其他RDNA卡，目前閉源，有可能是在找雇主或資源，
半夜特別去追蹤作者，這項目是近幾天才做的，作者手上只有Strix Halo所以暫時只支援GF1151
未來會加上27B模型，期待這技術能發展起來有更高的自由度，讓我們知道AMD的RDNA還有幾倍的優化空間....@dardeaw-feng 27B的一对一版本也出来了，没这个这么惊人，但是prefill也从300涨到500多。
https://github.com/peonist-ai/halogen-server -
@dardeaw-feng 27B的一对一版本也出来了，没这个这么惊人，但是prefill也从300涨到500多。
https://github.com/peonist-ai/halogen-server -
@terry 配好了也用了1天多了，基本和说明文档的一致，prefill从标准版的300左右直接飙升到1000以上，Decode稳定在40左右，体验比其他任何模型都好了太多，质量没有问题，作者也出了qwen3.8 27b的一对一优化版。现在DGX Spark涨价，价格快是AImax395一倍的价格了，AImax395性价比一下子起来了。具体技术方面的分析请@dardeaw-feng 来说下吧，总之海外论坛的人都在骂AMD不给力，自己做不到的让第三方实现了。
-
dardeaw-feng 说:
@dardeaw-feng 对，可能版主不怎么玩AImax395，不知道这个模型出来对这机器意味着什么。以前这机器就一鸡肋，要么只能慢速跑好一点的模型如27b和flash，想要速度只能跑35B A3B这种，和DG Spark这种可以作为生产力的机器差距巨大。这个模型能跑出这个速度说明了机器潜力足够，完全也可以和DG Spark一样成为生产力，而且性价比高得多。
qwen 3.8 flash next的prefill比較快我覺得主要是模型架構新而且又是MOE
要跑這個 優先去bios把調到96G/32G 然後linux下gpu驅動開GTT
剩下的把github連結丟給agent自己搞就好
實測有到1350tps 輕輕鬆鬆一路到131K都還有1300tps，曲線超平，Decode有到4Xtps，
這就是次世代超稀疏架構的特性但我發現....這種一條龍從驅動層做到推論框架、特製量化會讓人無法微調細節
然而我裝上後系統內存幾乎沒剩了，這閉源項目又沒辦法多擠一些空間回來，
我機器買來是為了通用不是特用呀，小盒子沒留空間可以玩別的反而可惜
我丟一堆數據文 不如寫寫這樣的心得給大家分享我測來玩玩 主要的目的就是為了證明那一句- "AMD戰未來" 但未來都是開源社群回饋的...........
當然有人說買迷你機很划不來性價比低，但我年初買395花了15000元我玩得很開心，如果是現在的價格我完全不會買，
那些買兩台三台DGX Spark為了跑通本地DeepSeek V4甚至想挑戰V4.1的兄弟們，我深感佩服，
要玩大模型當然是云服務付費比較超值，現在白嫖、特價的模型比比皆是，會本地配置的都是為了男人的天性-樂趣，
但我認為花錢買到的東西性能沒被釋放 一定要追根究柢，
AMD還有好大的空間可以走 我之前就是被官方宣稱ROCm 7進步了幾倍就買了....但事實就是還差很多
騙錢的手段太粗暴 軟件上的優化工程就還沒到位 -
已装。亲测已达可用状态。原来问个你是谁。30分钟回答不了。还失联。现在40t/s确实和在线模型差不多了，真的感谢推荐。搞这个出来的是个神！强烈推荐。加载这个模型就剩900m的内存了。用到尽的资源了。
-
已装。亲测已达可用状态。原来问个你是谁。30分钟回答不了。还失联。现在40t/s确实和在线模型差不多了，真的感谢推荐。搞这个出来的是个神！强烈推荐。加载这个模型就剩900m的内存了。用到尽的资源了。
-
@张光璞 肯定是linux，這項目都是docker在windows搞根本災難
Windows搞docker背後還得用WSL2
1.模擬器開銷 會掉些性能
2.驅動配置麻煩
3.內存管理非常垃圾，VRAM最大只能配到96G，還會VRAM系統RAM雙重載入
4.OS本身垃圾背景服務站用沒意義的內存
5.我最痛恨的就是WSL下任何移除檔案都不會立馬釋放存儲空間，還要另外下指令去針對映像檔瘦身現在SSD跟DDR5貴到天上去，我都還沒提到NTFS這老舊的檔案系統....一點防護性跟安全性都沒有
之前移動設備的戰役吃鱉了，Windows已經跟不上AI時代了，硬要搞copilot跟AI PC出來騙
Open Office搭Agent也是趨勢，未來隨時可以挑戰O365，
現在連Steam都在Linux 了，連遊戲的護城河都有可能守不住了，
除非你還有一些遺產系統或是舊的專業應用，否則windows未來會被淘汰 -
，系统 取消固定了此主题
