<![CDATA[对 M5 MAX 跑本地大模型有点失望]]>最近网上看了很多 M5 MAX 跑模型的评测和视频， 虽然可以有很大的统一内存来装模型， 但是模型大了之后， 性能下降很多， 基本是 5-10个t/s ， 没法用的状态， 如Qwen 122b a10b 也就是勉强在 20-25t/s 刚刚可用的状态， 如果上百GB的 deepseek 装上去， 真的就几个tokens/s ， 没法用的状态。

我自己的 3090 24G+ 64G内存卸载 122b a10b Q4也能跑到 15-20t/s ，感觉上差的不多。

之前还想卖肾搞一套4-5万的 M5 MAX, 但是现在很犹豫了， 感觉没什么用。再说一下 6000pro , 96G显存， 122B a10b Q4量化文件本身也 70多G了，勉强放下， 如果是再大一些的模型， 6000pro一样也放不下， 跟 3090 24G+ 64G内存 也没有质的区别（从模型size来说）， 所以感觉消费级硬件真的没什么太好的选择， 至于几台机器一起张量并行的评测也看了， 觉得也是一般般。

ps. 以上不考虑实用、量产，只是考虑本地可跑的模型规模、速度。不对之处请指教。

]]>https://lcz.me/topic/431/对-m5-max-跑本地大模型有点失望RSS for NodeSat, 06 Jun 2026 02:29:33 GMTFri, 05 Jun 2026 02:35:05 GMT60<![CDATA[Reply to 对 M5 MAX 跑本地大模型有点失望 on Fri, 05 Jun 2026 15:59:52 GMT]]>推荐一个很适合 macOS 跑的模型 https://huggingface.co/LibraxisAI/Huihui-Qwen3.6-35B-A3B-Claude-4.7-Opus-abliterated-vmlx-mxfp4

我自己的 benchmark 和实测都完全有 27B bf16 mlx 版本的功力，但是速度快多了

关键是还越狱

]]>https://lcz.me/post/5233https://lcz.me/post/5233Fri, 05 Jun 2026 15:59:52 GMT<![CDATA[Reply to 对 M5 MAX 跑本地大模型有点失望 on Fri, 05 Jun 2026 06:17:02 GMT]]>剛找到了一個lm-evaluation-harness

今晚單純測量速度, 明天折騰一下這個再報告精度損失好了

]]>https://lcz.me/post/5153https://lcz.me/post/5153Fri, 05 Jun 2026 06:17:02 GMT<![CDATA[Reply to 对 M5 MAX 跑本地大模型有点失望 on Fri, 05 Jun 2026 06:07:02 GMT]]>@566656661 速度不错 👍

]]>https://lcz.me/post/5152https://lcz.me/post/5152Fri, 05 Jun 2026 06:07:02 GMT<![CDATA[Reply to 对 M5 MAX 跑本地大模型有点失望 on Fri, 05 Jun 2026 06:01:27 GMT]]>@rolex-lo

一分錢一分強

而且tks都是貴的, 本地單純是一次性, API就訂閱制

這個nvfp4準確度我也沒特別測量

]]>https://lcz.me/post/5151https://lcz.me/post/5151Fri, 05 Jun 2026 06:01:27 GMT<![CDATA[Reply to 对 M5 MAX 跑本地大模型有点失望 on Fri, 05 Jun 2026 05:57:31 GMT]]>@kop-wang

vLLM跟llama.cpp在坊間有比較好用, 能測perplexity的插件嗎?

我平時都是測tks跟延遲多, perplexity跟MMLU的話我通常都是看model card的就算了

]]>https://lcz.me/post/5150https://lcz.me/post/5150Fri, 05 Jun 2026 05:57:31 GMT<![CDATA[Reply to 对 M5 MAX 跑本地大模型有点失望 on Fri, 05 Jun 2026 05:48:26 GMT]]>@566656661 看來真的是 兩張r9700的合體都做不了...

]]>https://lcz.me/post/5146https://lcz.me/post/5146Fri, 05 Jun 2026 05:48:26 GMT<![CDATA[Reply to 对 M5 MAX 跑本地大模型有点失望 on Fri, 05 Jun 2026 05:49:57 GMT]]>@566656661 感谢数据，不错的，就是体感感觉NVFP4的精度稍差，回头我跑一下4bit和fp8之间的benchmark，看看困惑度有多少差距。

]]>https://lcz.me/post/5145https://lcz.me/post/5145Fri, 05 Jun 2026 05:49:57 GMT<![CDATA[Reply to 对 M5 MAX 跑本地大模型有点失望 on Fri, 05 Jun 2026 05:37:02 GMT]]>基本上我是把上下文拉爆(日間Coding需要), 然後concurrency單純調1, 並沒有特別針對hermes做什麼特別優化 (也許研究一下會更好, 不過得要有空)

@tony-wang @rolex-lo

趁現在午休的時候跑了一下llama benchy

llama-benchy \
  --base-url "http://localhost:7380/v1" \
  --model "Huihui-Qwen3.6-27B-abliterated-NVFP4-MTP" \
  --tokenizer "$HOME/vllm/models/sakamakismile/Huihui-Qwen3.6-27B-abliterated-NVFP4-MTP" \
  --pp 2048 \
  --tg 480 \
  --depth 0 1000 5000 10000 20000 50000 100000 150000 200000 \    #(不同上下文長度)
  --latency-mode generation \
  --skip-coherence \
  --concurrency 1 \

Context Ladder

| model                                    |             test |               t/s |     peak t/s |         ttfr (ms) |      est_ppt (ms) |     e2e_ttft (ms) |
|:-----------------------------------------|-----------------:|------------------:|-------------:|------------------:|------------------:|------------------:|
| Huihui-Qwen3.6-27B-abliterated-NVFP4-MTP |           pp2048 | 7741.01 ± 1375.30 |              |    373.94 ± 54.49 |    274.26 ± 54.49 |    373.94 ± 54.49 |
| Huihui-Qwen3.6-27B-abliterated-NVFP4-MTP |            tg480 |      68.87 ± 6.65 | 81.33 ± 3.68 |                   |                   |                   |
| Huihui-Qwen3.6-27B-abliterated-NVFP4-MTP |   pp2048 @ d1000 |   8136.73 ± 32.84 |              |     474.32 ± 1.44 |     374.64 ± 1.44 |     474.32 ± 1.44 |
| Huihui-Qwen3.6-27B-abliterated-NVFP4-MTP |    tg480 @ d1000 |      67.73 ± 5.06 | 88.00 ± 5.72 |                   |                   |                   |
| Huihui-Qwen3.6-27B-abliterated-NVFP4-MTP |   pp2048 @ d5000 |   6615.23 ± 22.79 |              |    1165.21 ± 3.86 |    1065.53 ± 3.86 |    1165.21 ± 3.86 |
| Huihui-Qwen3.6-27B-abliterated-NVFP4-MTP |    tg480 @ d5000 |      72.92 ± 3.56 | 89.33 ± 3.77 |                   |                   |                   |
| Huihui-Qwen3.6-27B-abliterated-NVFP4-MTP |  pp2048 @ d10000 |   6008.73 ± 10.16 |              |    2104.88 ± 3.47 |    2005.20 ± 3.47 |    2104.88 ± 3.47 |
| Huihui-Qwen3.6-27B-abliterated-NVFP4-MTP |   tg480 @ d10000 |      65.25 ± 2.21 | 82.00 ± 4.32 |                   |                   |                   |
| Huihui-Qwen3.6-27B-abliterated-NVFP4-MTP |  pp2048 @ d20000 |    5152.21 ± 0.52 |              |    4379.13 ± 0.52 |    4279.45 ± 0.52 |    4380.19 ± 0.46 |
| Huihui-Qwen3.6-27B-abliterated-NVFP4-MTP |   tg480 @ d20000 |      70.45 ± 1.27 | 89.67 ± 0.47 |                   |                   |                   |
| Huihui-Qwen3.6-27B-abliterated-NVFP4-MTP |  pp2048 @ d50000 |    3690.36 ± 5.88 |              |  14203.66 ± 22.59 |  14103.98 ± 22.59 |  14205.86 ± 22.80 |
| Huihui-Qwen3.6-27B-abliterated-NVFP4-MTP |   tg480 @ d50000 |      67.03 ± 1.67 | 84.67 ± 0.47 |                   |                   |                   |
| Huihui-Qwen3.6-27B-abliterated-NVFP4-MTP | pp2048 @ d100000 |    2528.58 ± 0.55 |              |   40457.51 ± 8.72 |   40357.83 ± 8.72 |   40461.50 ± 8.69 |
| Huihui-Qwen3.6-27B-abliterated-NVFP4-MTP |  tg480 @ d100000 |      60.96 ± 0.75 | 78.33 ± 3.68 |                   |                   |                   |
| Huihui-Qwen3.6-27B-abliterated-NVFP4-MTP | pp2048 @ d150000 |    1922.36 ± 0.98 |              |  79194.84 ± 39.68 |  79095.17 ± 39.68 |  79201.49 ± 39.50 |
| Huihui-Qwen3.6-27B-abliterated-NVFP4-MTP |  tg480 @ d150000 |      62.53 ± 3.29 | 76.33 ± 1.89 |                   |                   |                   |
| Huihui-Qwen3.6-27B-abliterated-NVFP4-MTP | pp2048 @ d200000 |    1556.00 ± 0.99 |              | 129951.65 ± 82.49 | 129851.97 ± 82.49 | 129959.72 ± 82.53 |
| Huihui-Qwen3.6-27B-abliterated-NVFP4-MTP |  tg480 @ d200000 |      59.58 ± 1.31 | 69.67 ± 1.70 |                   |                   |                   |

Token速度相當可用, 200K上下都能大約有60 tks

a14dea73-c19e-4488-8196-fb8b68f9c2cc-image.jpeg

]]>https://lcz.me/post/5144https://lcz.me/post/5144Fri, 05 Jun 2026 05:37:02 GMT<![CDATA[Reply to 对 M5 MAX 跑本地大模型有点失望 on Fri, 05 Jun 2026 05:12:28 GMT]]>

@Tony-Wang 说:

嗯, Mac 肯定是不能打, M5 Max 以上, 我估计L

@566656661 剛看到,期待,

我也是用mini pc, 就是性價比的問題.🤒
@tony-wang 說的48GB 都很吸引, 但真的沒錢

]]>https://lcz.me/post/5139https://lcz.me/post/5139Fri, 05 Jun 2026 05:12:28 GMT<![CDATA[Reply to 对 M5 MAX 跑本地大模型有点失望 on Fri, 05 Jun 2026 05:07:04 GMT]]>@566656661

好的, 期待.

]]>https://lcz.me/post/5138https://lcz.me/post/5138Fri, 05 Jun 2026 05:07:04 GMT<![CDATA[Reply to 对 M5 MAX 跑本地大模型有点失望 on Fri, 05 Jun 2026 05:04:53 GMT]]>@Tony-Wang

對, 就算是沒load也會固定在30%風扇, RTX Pro系列風扇都不可調

2472f989-1895-4a32-a0ea-e46df7db415d-image.jpeg

補一補圖, 今晚可能會發個文簡單講一下

@rolex-lo

]]>https://lcz.me/post/5136https://lcz.me/post/5136Fri, 05 Jun 2026 05:04:53 GMT<![CDATA[Reply to 对 M5 MAX 跑本地大模型有点失望 on Fri, 05 Jun 2026 05:00:09 GMT]]>我看介绍说 涡轮转速不可调, 是完全固定转速的意思? 还是说它自己智能调整, 不接受外部的转速调整?

]]>https://lcz.me/post/5134https://lcz.me/post/5134Fri, 05 Jun 2026 05:00:09 GMT<![CDATA[Reply to 对 M5 MAX 跑本地大模型有点失望 on Fri, 05 Jun 2026 05:00:05 GMT]]>@Tony-Wang

十分安靜, 本來就是200W的卡, 有load的時候也被桌機的電腦風扇蓋過了

RTX Pro系列很適合注重噪音跟功耗的人 (600W的RTX Pro 6000例外, 在說Max Q版本)

論Token能耗比會好過普通Geforce, 性價比就不要談了

]]>https://lcz.me/post/5132https://lcz.me/post/5132Fri, 05 Jun 2026 05:00:05 GMT<![CDATA[Reply to 对 M5 MAX 跑本地大模型有点失望 on Fri, 05 Jun 2026 04:53:51 GMT]]>@566656661 噪音如何?

]]>https://lcz.me/post/5131https://lcz.me/post/5131Fri, 05 Jun 2026 04:53:51 GMT<![CDATA[Reply to 对 M5 MAX 跑本地大模型有点失望 on Fri, 05 Jun 2026 04:33:44 GMT]]>現在就是迷你電腦配上RTX Pro 4500

]]>https://lcz.me/post/5130https://lcz.me/post/5130Fri, 05 Jun 2026 04:33:44 GMT<![CDATA[Reply to 对 M5 MAX 跑本地大模型有点失望 on Fri, 05 Jun 2026 03:56:39 GMT]]>来不及了, 已经下过单了 😞

]]>https://lcz.me/post/5119https://lcz.me/post/5119Fri, 05 Jun 2026 03:56:39 GMT<![CDATA[Reply to 对 M5 MAX 跑本地大模型有点失望 on Fri, 05 Jun 2026 03:56:01 GMT]]>@Tony-Wang 京东plus会员优惠接近200，如果不急退了冲个会员再买。

]]>https://lcz.me/post/5118https://lcz.me/post/5118Fri, 05 Jun 2026 03:56:01 GMT<![CDATA[Reply to 对 M5 MAX 跑本地大模型有点失望 on Fri, 05 Jun 2026 03:54:27 GMT]]>@kop-wang

期待分享, 我买的丽台的, 38999. 不过我要7月初才能回国装机.

]]>https://lcz.me/post/5116https://lcz.me/post/5116Fri, 05 Jun 2026 03:54:27 GMT<![CDATA[Reply to 对 M5 MAX 跑本地大模型有点失望 on Fri, 05 Jun 2026 03:54:09 GMT]]>@Tony-Wang nv工包的，京东有两款，差价10元，买的38804的那款。

]]>https://lcz.me/post/5115https://lcz.me/post/5115Fri, 05 Jun 2026 03:54:09 GMT<![CDATA[Reply to 对 M5 MAX 跑本地大模型有点失望 on Fri, 05 Jun 2026 03:52:28 GMT]]>@kop-wang

丽台的么?

]]>https://lcz.me/post/5114https://lcz.me/post/5114Fri, 05 Jun 2026 03:52:28 GMT<![CDATA[Reply to 对 M5 MAX 跑本地大模型有点失望 on Fri, 05 Jun 2026 03:45:18 GMT]]>@Tony-Wang 巧了，今天京东自营刚刚到货，准备过两天发帖

]]>https://lcz.me/post/5110https://lcz.me/post/5110Fri, 05 Jun 2026 03:45:18 GMT<![CDATA[Reply to 对 M5 MAX 跑本地大模型有点失望 on Fri, 05 Jun 2026 03:42:27 GMT]]>没办法啊, 看中了它的48G. 如果是32G, 还有A卡可选, R9700性价比最高.

京东上 5090 的32G, 价格比我这个还高 😞 , 你们台湾还能有满血保修, 我们这边啥都没有.

]]>https://lcz.me/post/5107https://lcz.me/post/5107Fri, 05 Jun 2026 03:42:27 GMT<![CDATA[Reply to 对 M5 MAX 跑本地大模型有点失望 on Fri, 05 Jun 2026 03:39:26 GMT]]>@Tony-Wang 台幣 $245,000 這價格也是很難回本 😰
要捏一下薪水

]]>https://lcz.me/post/5104https://lcz.me/post/5104Fri, 05 Jun 2026 03:39:26 GMT<![CDATA[Reply to 对 M5 MAX 跑本地大模型有点失望 on Fri, 05 Jun 2026 03:38:24 GMT]]>我刚刚定了一块 pro 5000 48G, 主要用来跑 27b, 价格不到4万, 还有保修.

对比pro 6000 96G, 现在京东上都 12万, 15万, 甚至18万一张了.

]]>https://lcz.me/post/5101https://lcz.me/post/5101Fri, 05 Jun 2026 03:38:24 GMT