[实测]m5 ultra 256G ds v4.1 flash oq3.5 97toks | qwen3.8 flash next oq6 143toks
-
确实忘记提功耗了,因为吐字时的功耗才 60w 预填充阶段瞬时 120w 所以我现在已经不考虑功耗问题了。
算力的选择我现在确实有点后悔没有选择 80GPU 的型号,实测感觉 64GPU 填不满 1.2T 带宽。这只是体感并没有测试,如果有 80GPU 型号的坛友也测试一下我的猜测。后续我可能考虑入一台 80GPU 的型号
价格确实是贵的,但是从性价比讲,对我个人来说 mac studio 比 dgx spark x2 要有用一些
@Jw-Zhang 你覺得作為LLM server+工作站( coding+3D+媒體), m5 ultra 256G是否高性價比? 因為看著網友各種GPU+高系統RAM的配置strata跑qwen3.8 flash next, 雖然入門價格低, 速度也快, 但只能跑1-2個模型, 配上linux/ubuntu也很多軟體跑不了/要折騰, 還要算上全速跑的600W起跳耗電, 每月電費至少多500-600塊, 還有噪音+熱量, 想想看其實mac studio挺值得, 而且omlx/vllm生態會一路優化進步.
-
@Jw-Zhang 你覺得作為LLM server+工作站( coding+3D+媒體), m5 ultra 256G是否高性價比? 因為看著網友各種GPU+高系統RAM的配置strata跑qwen3.8 flash next, 雖然入門價格低, 速度也快, 但只能跑1-2個模型, 配上linux/ubuntu也很多軟體跑不了/要折騰, 還要算上全速跑的600W起跳耗電, 每月電費至少多500-600塊, 還有噪音+熱量, 想想看其實mac studio挺值得, 而且omlx/vllm生態會一路優化進步.
@Henry-Chiu-0 我觉需要规划好内存的使用,多少给 LLM,多少留给生产力工具,harness 工具也要留充足的内存,是无头服务器还是主力机工作站。如果主力模型是 deepseek 4.1 可能留给生产力工具的内存就不太多了,后续如果有 320G 统一内存型号,我觉得可选,512G 我觉得没有性价比了,我能想到的需求是大型 3D 视频工作站本地模型+建模渲染工具,可能需要 512G
关于这个 1.2T 的带宽,它是整块SoC的峰值带宽。在Ultra芯片上跑单路解码流,基本无法把带宽跑满,根据我的测试结果推测,通常只能达到峰值的70%-80%。MoE模型会进一步降低带宽利用率:每个token需要读取分散分布的不同专家权重,内存读取并非连续访问。
-
,系统 取消固定了此主题
-
-
-
,
T terry 固定了此主题
-
-
-
-
如果跑comfyui速度能跟上N卡, 真是神機了, 期望社区生态能開發出來
-
如果跑comfyui速度能跟上N卡, 真是神機了, 期望社区生态能開發出來
@Henry-Chiu-0 ComfyUI对N卡的优化一直事最顶级的。但无法突破物理限制。
-
-
画一个3D的 鹈鹕在海边公路骑自行车动画,用HTML5及必要的技术来展示,要求细节拉满,有美感,比例正确60帧不卡顿,默认从左后方向45度视角,有日夜切换按钮,太阳和月亮会随时间变化 运动(大概是20倍于现实中的时间流逝),鹈鹕左侧的路面增加一些花花草草,海里增加一些小鱼时不时的跃出水面,沙滩上有螃蟹及海螺,岸边有人散步,海里有些人游泳,远处有一些渔船,海上有一些海鸥随机飞翔。 夜晚天上加一些星星,保存为pelican.html(本机默认下载好three.js,如果没有也可以自动从中国CDN快速加载)。游戏要有server.py,启动后随机寻找一个本机的空闲端口作为服务器,并自动从默认浏览器打开让用户试玩.可以试试3D鹈鹕提示词,看多久可以完成,效果如何。
双7900XTX 35分钟


-
以平衡配置難易度+耗電+速度三者來看, mac studio是否好選擇? 而且它是一台很強的工作站(它很貴則是我的問題)
@Henry-Chiu-0 几万块的东西一台飞度的钱了,我也研究很久。基本确定是最好的解决方案。512G版本估计要12w,而且要排队几个月,GPU CPU相同的情况下,跑量化Q6速度很慢,反而意义没那么大。现在甜点基本就是dsv4f 和 qwen3.8-next-flash-Q6
-
如果跑comfyui速度能跟上N卡, 真是神機了, 期望社区生态能開發出來
@Henry-Chiu-0 这是物理限制不可能的了。毕竟80核GPU高配版也就5080水平,楼主的64核是4080水平的GPU。
ComfyUI尤其是生视频要求的是GPU算力,其实很好理解。比如生图是没问题的,视频其实就是1s 30帧就是30张图,5s就是150张图。
这算力卡着,如果苹果能做好,那GPU独显只会更好。 -
,
T terry 引用了 此主题
-
-
@Jw-Zhang 我的Qwen3.8 flash next 的鹈鹕明明是这样的啊:9094726b-478d-4eb4-947f-cd7c486d684f.html


️
版主审定:本帖设为精华,作者 +5 积分奖励,希望再接再厉!
本帖参与讨论人数已达 10+,入选热议,作者 +3 积分奖励,感谢分享!
