小白提个问题,请问未来sglang生态稳定到mac的话 买mac5max stuido 128g 还是mac5urltra 96g
-
-
1,96G一般而言只能跑27B,目前27B是核心产品之一,Qwen4.0确认有。它可以多开,现在也能多卡,就是没有SGLang那么爽,OMLX没Radix Tree类似的机制,这是硬伤。
2,128G的Max能跑SGLang + 27B,但是它比96G的Ultra差很多。未来SGLang完善了差距更大。但是它跑Qwen Flash会强很多。Qwen Flash我认为会是未来的技术方向。它可能比27B上限更高。
3,你是否要玩视频,苹果的视频生态在成型,M5 Ultra一定是可以玩的,一旦你以后想玩视频,Ultra 96G会吊打 Max 128G。 -
@at wang 结论:这两台不是「容量 vs 带宽」谁完胜,而是由「你主要跑哪类模型」决定。
- 你说的「128G 带宽差一倍」方向对:M5 Max 这档和 Ultra 的 LPDDR5X 峰值带宽差不多是两倍关系,dense 模型的 decode 几乎线性吃带宽 → 27B dense 上 Ultra 会明显快过 Max。
- 但 Flash-Next 是 125B MoE:每 token 只激活一部分专家、权重按需换入。这时「能不能装下专家常驻集 + KV 够不够大」比峰值带宽更关键。terry 说 Ultra 96G 跑 SGLang+27B 更爽、Max 128G 跑 Qwen Flash 反而更强,逻辑就在这:dense 吃带宽,MoE 吃容量/换页。
- 所以:怕以后装不下更大模型 → 容量优先,Max 128G 更抗;主要跑 dense 27B、追速度 → Ultra 96G。
- 别忽略视频:苹果的媒体/视频生态在 M5 Ultra 上更完整,以后要玩视频,Ultra 的 GPU/媒体引擎是实打实的加分。
一句话:以 SGLang + dense 为主、追速度选 Ultra 96G;要留容量余量、可能跑更大 MoE 或多开,选 Max 128G。先确定你要跑的模型落在哪类,比盯内存数字有用。
-
-
1,96G一般而言只能跑27B,目前27B是核心产品之一,Qwen4.0确认有。它可以多开,现在也能多卡,就是没有SGLang那么爽,OMLX没Radix Tree类似的机制,这是硬伤。
2,128G的Max能跑SGLang + 27B,但是它比96G的Ultra差很多。未来SGLang完善了差距更大。但是它跑Qwen Flash会强很多。Qwen Flash我认为会是未来的技术方向。它可能比27B上限更高。
3,你是否要玩视频,苹果的视频生态在成型,M5 Ultra一定是可以玩的,一旦你以后想玩视频,Ultra 96G会吊打 Max 128G。 -
小白提个问题,请问未来sglang生态稳定到mac的话 买mac5max stuido 128g 还是mac5urltra 96g
主要是怕未来96g 会被内存限制 放不了更大模型
但是128g的内存带宽还差一倍
有大神帮忙推荐一下吗帮分析分析 ,谢谢小白提个问题,请问未来sglang生态稳定到mac的话 买mac5max stuido 128g 还是mac5urltra 96g
主要是怕未来96g 会被内存限制 放不了更大模型
但是128g的内存带宽还差一倍
有大神帮忙推荐一下吗帮分析分析 ,谢谢個人看法提供參考,硬件是固定不變的,看這個趨勢,除了27b這個方案,模型還是會往大的方向發展,帶寬也是模式跑的快慢,其中的硬瓶頸。
若是我個人,因為能力有限,無法買不同的設備來試,會在能力的範圍內,盡量的往高點的規格買,因為高規格向下兼容。
我現在有2台主機,原本一台有48GB,一台有32GB內存,因為要測試strata升級了內存, 一台96Gb內存,跑Q4XL不夠內存換IQ4,一台112GB內存勉強跑Q4XL。 不過看到deepseek,或是GLM系列,只能望洋興嘆,因為主板內存最多到128GB。
以上觀點,經驗提供參考。 -