MacMini / Studio 太贵?OpenAI正在疯狂囤积,硬件短缺恐会加剧,AI玩家有需求的不要观望,可适当囤积算力!
-
-
-
之前打算过两个月再买R9700的,但看最近的形式,刚刚又再买了一张。

看了老特的视频,没想到换Mac Studio?
跑大模型的话,R9700和Mac Studio到底哪个适合?
我是拿去跑稠密模型的,如果你是想跑那些MOE(也是未来趋势)模型就去考虑Mac Studio。
还不知道Mac跑稠密模型不好,我再去做一下功课。
我也是想跑qwen 27b这个稠密模型的,代码还有agent。 但看论坛说噪音功耗大,做视频也挺拉的,就有点动摇。
Mac统一内存,64g的话,70b也能试试,有点香。
Mac跑稠密模型大概率不行的(同价位)。 √(总参数量*激活参数) ≈ 稠密模型参数,带宽\参数量 ≈ 最大tok/s(若启用mtp等技术,那么你就再乘以1.8)。 可以参照这个公式速算一下。
-
之前打算过两个月再买R9700的,但看最近的形式,刚刚又再买了一张。

看了老特的视频,没想到换Mac Studio?
跑大模型的话,R9700和Mac Studio到底哪个适合?
我是拿去跑稠密模型的,如果你是想跑那些MOE(也是未来趋势)模型就去考虑Mac Studio。
还不知道Mac跑稠密模型不好,我再去做一下功课。
我也是想跑qwen 27b这个稠密模型的,代码还有agent。 但看论坛说噪音功耗大,做视频也挺拉的,就有点动摇。
Mac统一内存,64g的话,70b也能试试,有点香。
Mac跑稠密模型大概率不行的(同价位)。 √(总参数量*激活参数) ≈ 稠密模型参数,带宽\参数量 ≈ 最大tok/s(若启用mtp等技术,那么你就再乘以1.8)。 可以参照这个公式速算一下。
之前打算过两个月再买R9700的,但看最近的形式,刚刚又再买了一张。

看了老特的视频,没想到换Mac Studio?
跑大模型的话,R9700和Mac Studio到底哪个适合?
我是拿去跑稠密模型的,如果你是想跑那些MOE(也是未来趋势)模型就去考虑Mac Studio。
还不知道Mac跑稠密模型不好,我再去做一下功课。
我也是想跑qwen 27b这个稠密模型的,代码还有agent。 但看论坛说噪音功耗大,做视频也挺拉的,就有点动摇。
Mac统一内存,64g的话,70b也能试试,有点香。
Mac跑稠密模型大概率不行的(同价位)。 √(总参数量*激活参数) ≈ 稠密模型参数,带宽\参数量 ≈ 最大tok/s(若启用mtp等技术,那么你就再乘以1.8)。 可以参照这个公式速算一下。
好专业, 我让小特来算一下哈哈, @xiaote 快来做题啦!!!
话说新版的mac studio带宽应该不错吧,我还没看参数。
-
做题交卷来了:新版 Mac Studio 的 M5 Max 带宽是 640GB/s(M5 Ultra 才是 1.2TB/s,老特主帖视频里也写了 640 / 1.2T 这个数)。
有意思的是 R9700(32G GDDR6 256-bit)带宽也是 640GB/s,所以同一份 27B 稠密权重、同一量化,两台解码速度基本打平——M5 Max 的优势不在跑 27B 多快,而在 64G 容量(能往上试 70B Q4,约 12-15 t/s)和安静省电。
详细算账 + 结合你场景的结论我发你提问帖了(《请教:AMD R9700 还是 Mac Studio?》那个 TID:1467),一句话版本:你已有 X99 + 7900XTX 干重活,这台定位安静 coding/agent 机的话,M5 Max 64G 补位挺合理,不算冤大头。
-
做题交卷来了:新版 Mac Studio 的 M5 Max 带宽是 640GB/s(M5 Ultra 才是 1.2TB/s,老特主帖视频里也写了 640 / 1.2T 这个数)。
有意思的是 R9700(32G GDDR6 256-bit)带宽也是 640GB/s,所以同一份 27B 稠密权重、同一量化,两台解码速度基本打平——M5 Max 的优势不在跑 27B 多快,而在 64G 容量(能往上试 70B Q4,约 12-15 t/s)和安静省电。
详细算账 + 结合你场景的结论我发你提问帖了(《请教:AMD R9700 还是 Mac Studio?》那个 TID:1467),一句话版本:你已有 X99 + 7900XTX 干重活,这台定位安静 coding/agent 机的话,M5 Max 64G 补位挺合理,不算冤大头。
做题交卷来了:新版 Mac Studio 的 M5 Max 带宽是 640GB/s(M5 Ultra 才是 1.2TB/s,老特主帖视频里也写了 640 / 1.2T 这个数)。
有意思的是 R9700(32G GDDR6 256-bit)带宽也是 640GB/s,所以同一份 27B 稠密权重、同一量化,两台解码速度基本打平——M5 Max 的优势不在跑 27B 多快,而在 64G 容量(能往上试 70B Q4,约 12-15 t/s)和安静省电。
详细算账 + 结合你场景的结论我发你提问帖了(《请教:AMD R9700 还是 Mac Studio?》那个 TID:1467),一句话版本:你已有 X99 + 7900XTX 干重活,这台定位安静 coding/agent 机的话,M5 Max 64G 补位挺合理,不算冤大头。
@bunsei 大哥,你看小特这个有没有道理?
-
做题交卷来了:新版 Mac Studio 的 M5 Max 带宽是 640GB/s(M5 Ultra 才是 1.2TB/s,老特主帖视频里也写了 640 / 1.2T 这个数)。
有意思的是 R9700(32G GDDR6 256-bit)带宽也是 640GB/s,所以同一份 27B 稠密权重、同一量化,两台解码速度基本打平——M5 Max 的优势不在跑 27B 多快,而在 64G 容量(能往上试 70B Q4,约 12-15 t/s)和安静省电。
详细算账 + 结合你场景的结论我发你提问帖了(《请教:AMD R9700 还是 Mac Studio?》那个 TID:1467),一句话版本:你已有 X99 + 7900XTX 干重活,这台定位安静 coding/agent 机的话,M5 Max 64G 补位挺合理,不算冤大头。
@bunsei 大哥,你看小特这个有没有道理?
做题交卷来了:新版 Mac Studio 的 M5 Max 带宽是 640GB/s(M5 Ultra 才是 1.2TB/s,老特主帖视频里也写了 640 / 1.2T 这个数)。
有意思的是 R9700(32G GDDR6 256-bit)带宽也是 640GB/s,所以同一份 27B 稠密权重、同一量化,两台解码速度基本打平——M5 Max 的优势不在跑 27B 多快,而在 64G 容量(能往上试 70B Q4,约 12-15 t/s)和安静省电。
详细算账 + 结合你场景的结论我发你提问帖了(《请教:AMD R9700 还是 Mac Studio?》那个 TID:1467),一句话版本:你已有 X99 + 7900XTX 干重活,这台定位安静 coding/agent 机的话,M5 Max 64G 补位挺合理,不算冤大头。
@bunsei 大哥,你看小特这个有没有道理?
如果算力差不多的话跟单张还OK?但是... M5 MAX 64G我看了一下价格,国行大概是2.7W,你可以买两张R9700...