对 M5 MAX 跑本地大模型有点失望
-
M5 Max 跑 Qwen 122b a10b Q4 的话, 如果内存够, 不大可能只有 20-25t/s.
我的M5 pro 跑 Qwen 27b 稠密加上MTP之后, 还能跑到20以上, 64k上下文时候掉到 17多.
按这个速度推理, M5 max 是我显存带宽的两倍, 它能到 40t/s 以上.
122b A10b 肯定比27b 稠密要快, 应该能跑到 60t/s以上, 我估计.
另外, 122A10 的智力应该不如 27b 稠密, 只是知识面更宽.
M5 Max 跑 Qwen 122b a10b Q4 的话, 如果内存够, 不大可能只有 20-25t/s.
我的M5 pro 跑 Qwen 27b 稠密加上MTP之后, 还能跑到20以上, 64k上下文时候掉到 17多.
按这个速度推理, M5 max 是我显存带宽的两倍, 它能到 40t/s 以上.
122b A10b 肯定比27b 稠密要快, 应该能跑到 60t/s以上, 我估计.
另外, 122A10 的智力应该不如 27b 稠密, 只是知识面更宽.
请教一下Tony的Qwen27B MTP用的哪个版本的模型？我下了oQ8-mtp，omlx经常退出，看日志好像是mtp的bug，求推荐稳定运行的模型版本，谢谢！
-
@Tony-Wang 涡轮卡的散热策略偏安静，max-q的出厂设置在300w功耗，温度干到90度的时候风扇也只吹到80%。都是可调整的，up说的不可调整估计是用官方的NVIDIA X Server Settings工具，温控功能确实是置灰的不能调。这个问题当时也是卡了我一下午，问了几个大模型，推荐了若干工具。最后试过一遍之后，LACT工具完美解决，拉一拉曲线都能整，小工具还支持多卡不同曲线。4090+max-q已测试通过非常好用，up也可以试试看
-
楼主可以看看我的帖子
-
感觉unified memory小主机的sweet spot在64GB，跑35B MOE+Hermes比较适合，虽然不算smart，基本可用。27B驱动Hermes就很慢不可用。其余24-32GB留作系统内存，接eGPU也够用。DGX Spark/Strix Halo 128GB RAM的，可以装进大model因为速度太慢也不实用，也就鸡肋了。
-
我觉得要看应用, 如果是跑Agent, 大概率 35A3 或者 26A4, 就是甜点位了.
但是如果要是进行写作创作的话, 我觉得参数大的模型更有优势, 比如总参数在100B, 激活在 10B左右的MOE模型, 像 Qwen3.5-122B-A10B , 统一内存跑起来应该速度还可以, 128G就会成为甜点位.
@Tony-Wang 有道理。我没有写过，可以想象写东西知识多会有帮助。做研究是否需要大模型？
-
@jlist 做研究这事得分任务类型看，不能一刀切"要不要大模型"：
-
文献阅读、资料综合——瓶颈是上下文和检索，不是参数量。35B A3B 这种小激活 MoE + 128K 上下文 + 本地 RAG 就够用，你"64GB 统一内存是甜点位"的判断在这类任务上完全成立。
-
代码、数据处理、表格分析——27B-35B 就够，甚至更小的模型配合工具调用更稳。你之前说 27B 驱动 Hermes 很慢，那是解码速度问题（带宽不够），不是模型不够大；换 35A3 激活参数更少、速度上去了，方向是对的。
-
数学证明、深层推理——这类看的是"推理能力"而不是"知识多"。各家 thinking 版模型（DeepSeek 推理系、Qwen 推理版）在同样参数量下比普通模型强一截，优先选推理优化过的模型，而不是单纯堆参数。
-
写作创作——Tony 说得对，总参数大、知识密度高的模型确实占优。122B-A10B 这种 100B 级 MoE，Q4 量化后权重约 65-70GB，64GB 统一内存跑不下，得上 128GB 或者双卡，偶尔用 API 顶一下也行。
最后补个实操建议：研究场景里"检索做得好"比"模型大"收益更明显。给 35B 配一套好用的 RAG（资料入库 + 引用溯源），大部分研究问题都能答得有据可查；只有深度综合、跨领域联想时才值得切大模型。
-
-
@jlist 做研究这事得分任务类型看，不能一刀切"要不要大模型"：
-
文献阅读、资料综合——瓶颈是上下文和检索，不是参数量。35B A3B 这种小激活 MoE + 128K 上下文 + 本地 RAG 就够用，你"64GB 统一内存是甜点位"的判断在这类任务上完全成立。
-
代码、数据处理、表格分析——27B-35B 就够，甚至更小的模型配合工具调用更稳。你之前说 27B 驱动 Hermes 很慢，那是解码速度问题（带宽不够），不是模型不够大；换 35A3 激活参数更少、速度上去了，方向是对的。
-
数学证明、深层推理——这类看的是"推理能力"而不是"知识多"。各家 thinking 版模型（DeepSeek 推理系、Qwen 推理版）在同样参数量下比普通模型强一截，优先选推理优化过的模型，而不是单纯堆参数。
-
写作创作——Tony 说得对，总参数大、知识密度高的模型确实占优。122B-A10B 这种 100B 级 MoE，Q4 量化后权重约 65-70GB，64GB 统一内存跑不下，得上 128GB 或者双卡，偶尔用 API 顶一下也行。
最后补个实操建议：研究场景里"检索做得好"比"模型大"收益更明显。给 35B 配一套好用的 RAG（资料入库 + 引用溯源），大部分研究问题都能答得有据可查；只有深度综合、跨领域联想时才值得切大模型。
-
-
@jlist 给 Hermes Agent 配 RAG，按投入产出比分三档说：
一档：零基建（建议先这么用）
Hermes 自带文件读写（read_file / search_files）和联网搜索，把研究资料整理成 markdown/PDF 放一个目录，会话里直接让它读+检索，几千篇以内完全够用。再加上它的 session_search（对过往对话做全文检索）和 skills（把常用流程固化成技能），很多"RAG 需求"其实不用搭任何东西。缺点是只有关键词/全文检索，没有向量语义检索。二档：MCP 原生接入（最"适合 Hermes Agent"的做法）
Hermes 原生支持 MCP 客户端，hermes mcp add 把服务器加进去，工具自动注册，检索就变成 agent 的原生工具调用：- Qdrant 官方 mcp-server-qdrant，配本地 embedding
- Chroma 的现成 MCP server
- 官方 mcp-server-memory（知识图谱式记忆，适合沉淀研究笔记）
Embedding 用 bge-m3 或 Qwen3-Embedding-0.6B 本地跑，Ollama 一装就有，你 M5 Max 64GB 统一内存毫无压力。
三档：要"引用溯源"就上完整 RAG 平台
研究场景要的是"资料入库 + 引用溯源"（我上一条说的），这类需求 RAGFlow 最对口——文档解析、切块、检索、回答都自带引用来源标注；Dify 也行但偏应用编排。两者都能本地部署、接 Ollama 模型和本地 embedding，Hermes 通过 API/MCP 调它。代价是部署和维护成本高一个量级。建议路径：先一档跑起来，资料多了、发现检索不准再上二档；真到写论文要逐条引用时再考虑三档。别一上来就搭重型 RAG——你 35B 还要占内存，轻量方案体验好得多。
