抡锤者

@stormaround 说:

a3b靠谱吗，之前用过的a3b经常会死循环，而且mac跑大模型太热了，我都改用r9700跑了，双r9700 配洋垃圾部署qwen3.8-flash-next很稳，我现在替换掉deepseek-flash完全没问题，肯定不如云端，但是比35b ，27b要强很多

我这还不是被逼着用MOE嘛，M5MAX 128G单独跑qwen3.8-27B没啥问题，加上dflash2，上下文262144，可以到43T/S，但是挂dsh或者codex，那速度就太拉胯了。换成qwen3.6 35B A3B，速度可以保证，质量也不会太拉胯，暂时没碰到死循环问题。

经过1天的高强度测试，我还是改为了Qwen3.6-35B-A3B-MTPLX-Optimized-Balance-FP16，edge0虽然速度快，但是从质量上还不够成熟，核心是edge0没有识图能力（自己阉割了），且edge0是基于qwen3.5训练的，现在Qwen3.6-35B-A3B-MTPLX-Optimized-Balance-FP16在M5max 128G速度上可以保持近100t/s的输出，比edge0差点儿，但是质量高了不少！！！

@許托比 说:

有詳細的測試畫面跟配置嗎？

我是菜鸟，确实不知道如何测试，抱歉给不了详细的benchmark，不过从使用以及实际体验上来说，特别是hermes接入的体验，我觉得对我是完全够用，更别说dsh了。

现在写个报告，搞个量化python什么的绰绰有余，不过程序最后得让ds过一遍，会发现一些bug，但是不多，总之真的够用！

这就是hermes的粗粮，吃大餐还得ds v4 flash或者ds v4 pro

@jin-weng 说:

这个并发咋样，我的是 M3 Ultra 512G，并发速度减的太狠了

你这台mac完全没问题，不用考虑这个模型，试试Qwen3.8-27b全量吧，按照M3 ultra 512G，应该可以跑到130t每秒，感觉更符合你的agent日常所需。

@johnnybegood 说:

@Bin-Mao 这两天也研究了一下， 给边缘设备用的。 手机上用也不错。 本地部署更是大牛拉小车。 简单工作肯定没问题， 但是我为什么要用这个而不去用我的 coding plan呢

因为粗重活我还是不想用coding plan，现在唯一可以信任的是ds v4系列，现在ds涨价，平常粗重活又多，感觉有些划不来。而mimo感觉有些闹着玩（年费），本地模型要兼顾速度和agent调用，确实尝试了很多遍才选择了这款本地部署的llm。

我说的是MacOS操作系统，如果你用的是nv环境，另当别论，还是选择qwen3.8-27B吧！

apple sillicon或者说mac带宽限制了发挥，机制也不一样，除非你换了M5Ultra，带宽能到1.2T，那也可以上qwen3.8

M5MAX 128G换了快30个本地部署模型后（Qwen3.8、3.6、gemma 4、muse glimmer、ornith等各种MLX或者Q量化，从4Bit到PF16都尝试了），唯一选择edge0-35B-A3B-Preview，兼顾了速度、质量、agent调用等，适合hermes、workbuddy以及DSH，大家可以试试！

这个模型机制有些不一样，属于内存占用弹性分配，edge0模型常驻SSD，除了有点儿费SSD，其他没啥毛病，你要说做一个鹈鹕骑单车svg，还是有差距，但是对于我日常使用（文本、量化、python编辑、lightGBM和tranformer训练等）足够了，且速度真的很快，大家可以尝试一下，工程能力推荐DSH或者codex。

此模型没有kv cache等，纯使用都已经非常不错了，单请求140t/s，dsh加载100t/s，hermes没记录。

上下文窗口32K其实在真实环境下使用率不高，同样的M5MAX 128G， 为了用DSH，开了262K，关闭思考，越到后面越慢，加上dflash2，也就堪堪能用，不过那速度真的别指望了，这种情况还不能完全指望用hermes。所以现在换成qwen3.6-35B-A3B顶着，至少能看到点儿希望。

等吧，如果qwen3.8出MOE了应该会好不少。

@stxpnet 说:

我的建议是，让AI上谷姐和REDDIT去帮你找 大本营，总有大神会和你用同款机器，然后他会精调一个专门针对这个机型的框架和模型,然后你接个deepseek v4,设计 好提示词，让梁文峰直接帮你抄作业就完事了。 我等了几天已经等到了。 以下给你一个HERMES可用的提示词：

去谷歌和reddit 帮我调研一下，最近7天内的，关于qwen 3.8 27b的模型比如（huggingface.co/zhnagchenchne/Qwen3.8-27B-GPTQ-W4A16 ），看看有哪些比较适合MacBook pro M5 MAX 128G 的，列最适合的10个，并用表格说明各自优劣势 ，我目前用的这个是 huggingface.co/twolven/Qwen3.8-27B-abliterated-AWQ-MTP ，感觉还行，但是离完美还有一些距离. 我比较喜欢【什么样的模型，用途主要是XXXX 】的。 如果reddit上找不到相关内容的话，可以从 huggingface.co/models?p=1&sort=created&search=qwen+3.8+27b 这个作为起点进去找找。 本会话可能要做为每日常规任务。主要目标是发掘一个适合 我本地 MacBook pro M5 MAX 128G 硬件的vllm或者sglang模型及框架 .

非常感谢，这个也很有帮助。。。马上办！

谢谢各位的解答！按照xiaote的模式，我暂时应用起来了，慢点就慢点，熬着试试再说，实在不行继续用ds v4 flash外加agnes 2.5 flash，再次感谢！

@kop-wang 说:

“该如何解决hermes调用本地模型严重降速的问题”

这就是统一内存的内存带宽太小导致prefill太慢导致的，无解。
hermes的冷启动提示词大概在10k token左右，1000t/s的prefill能力，就需要罚站10秒。更何况M5 MAX 彪不到1000t/s
而且prefill会随着上下文的占用线性变慢。

那这岂不是只能继续用云端模型了？！哎，天了噜！！！

电脑配置是MacBook pro M5 MAX 128G，因为不懂编程，一直使用deepseek v4 flash通过hermes做一些金融小模型的训练和量化编程，截止目前都很不错。

介于ds开始涨价，而自己平常使用的token确实有点儿多，加之对LLM的专业能力范围不大，就想使用Qwen3.8-27B-MLX-4bit本地化部署，通过oMLX让hermes调用。结果发现在oMLX对话页面的速度是很好的，但是一连接上hermes就降速厉害，半天没个反应，速度严重拉胯。

真心请教各位，该如何解决hermes调用本地模型严重降速的问题，另外，oMLX如何优化配置Qwen3.8-27B这个模型呢？我对上下文的长度有刚性需求，也不知道如何调整，先谢谢各位了！