抡锤者

交个作业。

我的机器是 M5 Pro 64GB（18 CPU + 20 GPU），测试了几个 runtime：Ollama、LM Studio 和 MTPLX。
模型主要是 Qwen3.6 27B 和 Qwen3.6 35B-A3B，均为 Q4 量化。

先说结论：

• 35B-A3B 在 MLX runtime（LM Studio）下，64K 上下文仍能跑到 50+ tok/s，已经达到可用状态，但智力相比 dense 27B 还是略弱一些。
• 27B dense 在 MLX + MTP（MTPLX）下，64K 上下文能跑到 19+ tok/s, 提升巨大, 但仍然只是勉强可用.
• MTPLX 在 64K 下的 speculative decoding 命中率依然很高，更长上下文不知道.
• Μ5 max 内存带宽可以达到pro的两倍, 如果MTPLX的生态成熟了, 感觉27b的LLM可用.

35b测试结果:

27b测试结果:

说明:
1, 4k, 8K 上下文测试没有意义, 所以大家关注16K以上的结果就好.
2, Mac 环境很难搞干净, 我的MBP是主力机, 里面各种服务软件很多. 所以不能作为基准, 但是相互的比较还是有意义的.
3, vMLX 之前测试过, 很不稳定, 所以算了.
4, oMLX 看网上讲性能和LM Studio差不多, 所以也没测.

我个人之见, 你的硬件足够富余, 所以可以用三层结构, 三台主机+NAS.

Tier 1: 主力机, 一台笔记本足以. 或者一台固定主机+一台外出携带的笔记本, 用来做日常工作, 上网浏览等. 同时跑一个 AI Agent, 用来对本机的自动化应用和可能的RAG或长上下文知识库管理.

Tier2: 两台 AI 工作站.
一台跑 AI Agent 和 本地LLM(同时可以route到云端LLM大脑), 用来给 主力机提供 大脑. 以及单独的Agent 用来完成一些 heavy duty 的工作. 这个可用Pro 6000.
一台跑 本地Diffusion, 作为专门的 图形视频工作站. 这个可以把你所有的其他显卡卖掉, 换一张5090, 如果你3060数量够多, 估计不用再加钱.
这样两台互不竞争资源, 且Pro 6000够你跑70B, 5090做图形视频你也飞起. 如果你要跑长视频, 本地27B LLM, 两台互换即可. 如果不想卖旧卡, 那就只用Pro 6000一台, 同时跑LLM和ComfyUI.

Tier3: NAS, 如果可万兆直连, 则 Tier1, Tier2 直接挂载, 并同时承担 备份任务. 如果不能万兆直连, 那就改为 同步+备份.

这样的三层结构, 三台机器+一个NAS, 应该是比较清晰的.

我也建议要冷静. 方案一尤其不可, M3 urltra 买了要12-14周才能到货.

新的Mac Studio没准6月 WWDC 就出来了, 现在买M3, 和49年参加国军差不多.

@terry 建议开个 "老头乐" 版块吧, 让大家忆忆旧, 吹吹牛.

硬件, 软件, 网络, AI 都在飞速发展, 世界已经发生了天翻地覆的变化, 过去的经验基本都用不上了, 也就只能怀怀旧 . 当年攒机时候, CPU还有Cyrix和Ti, 显卡还有 ATI和S3, 还有voodoo, 当年吊打nvidia, 跑极品飞车的雨雾效果只有voodoo才能渲染出来. 操作系统当年只有 slackware, 后来才有红帽... 当时跑web还要用apache +cgi, 后来还有NT的IIS, 浏览器只能用lynx 和mosaic... 现在这些经验, 基本上一点儿用都没有了

看了一下, 这个和是否付费的版本无关, ngix 都有这个漏洞, 只是rewrite规则可能付费版本写得更加正规, 触发不了这个漏洞.

这个攻击和2000初期的apache chunk溢出非常类似. 所以任何对公众的服务, 尽量要用 nobody+noshell+隔离架构(docer或虚拟化) 来运行. 这样黑客只能盲操做, 安全性好很多.

@terry

回头我折腾一下试试. wps和搜狗我都不喜欢, 免费版跳广告. 我现在用 google 三件套平替(只要不断网), 输入法用Rime+鼠须管平替. vi 是肌肉记忆了, 只是我不打代码, 只改配置, 比图形界面省事多了

@xx8897 m4 24G 跑AI肯定是不行, 但是作为视频剪辑什么的足够了. 你要是不剪视频, 建议赶紧出掉, 现在的保值率很高, 大量视频主都有手工剪片的需要.

我理解你这个模型不是llm模型，是个diffusion模型，要用comfy ui 来跑， 里面有模版，很容易上手. 不过调优需要慢慢摸索

@densha tg 没问题, line好像配置里还没有支持.

暑假之后打算回国定居, 想搞一个软路由, 咨询一下各位老大:

1, 硬件配置或者迷你小主机推荐, 千兆或者2.5G就行. 主要用来内网穿透等, 功能稍微强一点,

2, 关于连接问题, 之前在国内时候, 我一般是通过网通电信的朋友设置成桥接模式, 现在不知道还行不行? 如果不行的话, ipv6 国内的下发政策是怎样的? 是不是自动的? 还是要申请?

@eddie-hk

Studio 肯定体验更好, air适合做日常主力机, 轻便.

GPU还是很重要的, prefill 阶段主要拼算力, 我这个跑27b, prefill 300多, 属于很慢的了, 如果你开thinking, 有效的首字出来经常要1分钟以上, 属于体验很差的那种.

内存我个人认为反而不重要, 64G就够用了(专用, 如果你还用它上网办公剪辑视频, 那就不够了). 70b左右的moe也不会比30b左右的稠密更聪明. 除非你需要它知识面大, 比如写作之类的.

如果是Mac, 我还是赞同 @terry 的说法, 只有Max及以上才能打. 而且也只是在LLM 和 图片能打. 视频就别想了, 玩玩儿可以, 生产肯定不行.

@张老师 M4 mini, 做个主力机, 日常使用, 肯定挺不错的. 我是因为有外出需求, 所以干脆用MBP把这两个需求合二为一了.

是啊, 所以结论不变, M5pro 跑27b 不行, Max 没准行.

@terry 号召有 Μ5max的测试一下, 有可能给 LLM 带来希望.

关掉会降智. 我用刑侦十题的变体(防止它被训练过), 测试27b, thinking模式下, 完美解答, 但是时间巨长. no think 模式下翻车. 其余35a3, 26a4, 还用了 ud, 开了thinking也都全部翻车.

, 都是老皇历了. 当年的voodoo卡是用单位的科研项目花钱买的, 它自己不能输出VGA信号, 只是独立的加速卡. 具体品牌记不清了, 可能是creative的3d blaster. 那时候的显存只有几M. 现在已经是天翻地覆了.

今天oMLX发布了 0.3.9rc1, 支持了 native MTP, 我又测了一下加上了MTP机制的 27b oQ4, decode 明显提升, PP 基本不变.