[实测]m5 ultra 256G ds v4.1 flash oq3.5 97toks | qwen3.8 flash next oq6 143toks
-
@terry 谢谢版主置顶的支持
更新晚了一天. 因为整理这个补丁和文档还是需要花些时间的,特别是需要审核检查错误,花了一些时间才把补丁和复现过程整理好. 上传到hf 又花了一些时间, 修改那个模型卡片的参数也折腾了一下才弄明白用法.下一步的优化方向, 我还是想从减少内存方面出发, 因为统一内存还是很宝贵的, 当前版本节省的8G可以多做很多事情, 用来开harness, 缓存都能换来实际的生产力. 所以下一步还是看看能不能再压榨一点出来.
大家有什么好的优化方向, 或者对于量化质量的测试想法都发出来, 大家一起讨论, 让mac的ai生态可以活跃一些.
3D鹈鹕 这个测试我稍后就更新一下模型表现, blender 我也想稍后测试一下效果. 等完成了就更新出来. coming
soonslowly -
-
-
确实忘记提功耗了，因为吐字时的功耗才 60w 预填充阶段瞬时 120w 所以我现在已经不考虑功耗问题了。
算力的选择我现在确实有点后悔没有选择 80GPU 的型号，实测感觉 64GPU 填不满 1.2T 带宽。这只是体感并没有测试，如果有 80GPU 型号的坛友也测试一下我的猜测。后续我可能考虑入一台 80GPU 的型号
价格确实是贵的，但是从性价比讲，对我个人来说 mac studio 比 dgx spark x2 要有用一些
-
@Jw-Zhang 你覺得作為LLM server+工作站( coding+3D+媒體), m5 ultra 256G是否高性價比? 因為看著網友各種GPU+高系統RAM的配置strata跑qwen3.8 flash next, 雖然入門價格低, 速度也快, 但只能跑1-2個模型, 配上linux/ubuntu也很多軟體跑不了/要折騰, 還要算上全速跑的600W起跳耗電, 每月電費至少多500-600塊, 還有噪音+熱量, 想想看其實mac studio挺值得, 而且omlx/vllm生態會一路優化進步.
@Henry-Chiu-0 我觉需要规划好内存的使用，多少给 LLM，多少留给生产力工具，harness 工具也要留充足的内存，是无头服务器还是主力机工作站。如果主力模型是 deepseek 4.1 可能留给生产力工具的内存就不太多了，后续如果有 320G 统一内存型号，我觉得可选，512G 我觉得没有性价比了，我能想到的需求是大型 3D 视频工作站本地模型+建模渲染工具，可能需要 512G
关于这个 1.2T 的带宽，它是整块SoC的峰值带宽。在Ultra芯片上跑单路解码流，基本无法把带宽跑满，根据我的测试结果推测，通常只能达到峰值的70%-80%。MoE模型会进一步降低带宽利用率：每个token需要读取分散分布的不同专家权重，内存读取并非连续访问。
-
，系统 取消固定了此主题
-
-
-
，
T terry 固定了此主题
-
-
-
-
-
如果跑comfyui速度能跟上N卡, 真是神機了, 期望社区生态能開發出來
@Henry-Chiu-0 ComfyUI对N卡的优化一直事最顶级的。但无法突破物理限制。
-
-
画一个3D的 鹈鹕在海边公路骑自行车动画，用HTML5及必要的技术来展示，要求细节拉满，有美感，比例正确60帧不卡顿，默认从左后方向45度视角，有日夜切换按钮，太阳和月亮会随时间变化 运动（大概是20倍于现实中的时间流逝）,鹈鹕左侧的路面增加一些花花草草，海里增加一些小鱼时不时的跃出水面，沙滩上有螃蟹及海螺，岸边有人散步，海里有些人游泳，远处有一些渔船，海上有一些海鸥随机飞翔。 夜晚天上加一些星星，保存为pelican.html（本机默认下载好three.js，如果没有也可以自动从中国CDN快速加载）。游戏要有server.py，启动后随机寻找一个本机的空闲端口作为服务器，并自动从默认浏览器打开让用户试玩.可以试试3D鹈鹕提示词，看多久可以完成，效果如何。
双7900XTX 35分钟
-
以平衡配置難易度+耗電+速度三者來看, mac studio是否好選擇? 而且它是一台很強的工作站(它很貴則是我的問題)
@Henry-Chiu-0 几万块的东西一台飞度的钱了，我也研究很久。基本确定是最好的解决方案。512G版本估计要12w，而且要排队几个月，GPU CPU相同的情况下，跑量化Q6速度很慢，反而意义没那么大。现在甜点基本就是dsv4f 和 qwen3.8-next-flash-Q6
-
如果跑comfyui速度能跟上N卡, 真是神機了, 期望社区生态能開發出來
@Henry-Chiu-0 这是物理限制不可能的了。毕竟80核GPU高配版也就5080水平，楼主的64核是4080水平的GPU。
ComfyUI尤其是生视频要求的是GPU算力，其实很好理解。比如生图是没问题的，视频其实就是1s 30帧就是30张图，5s就是150张图。
这算力卡着，如果苹果能做好，那GPU独显只会更好。 -
，T terry 引用了 此主题
️
版主审定：本帖设为精华，作者 +5 积分奖励，希望再接再厉！
本帖参与讨论人数已达 10+，入选热议，作者 +3 积分奖励，感谢分享！