跳转至内容
  • 离线 AI 开发笔记本求推荐:5090 24G 还是 M5 Pro 64G?

    AI硬件 rtx5090 mac apple-m5
    9
    0 赞同
    9 帖子
    168 浏览
    DI AlenD
    谢谢佬们建议,主要考虑笔记本携带方便,随时可以起服务,出差到客户,网络隔离也能使用。
  • M5 Ultra的1.2T/s高带宽有多大用处?

    LLM讨论区 mac apple-m5
    9
    0 赞同
    9 帖子
    351 浏览
    rock shiR
    @张光璞 我2080峰值到过7000哈哈哈
  • 0 赞同
    14 帖子
    529 浏览
    terryT
    @Fang-Liu 不是,我弟,你是否吹牛逼我们不在意,我们想要的就是你多发点帖子,总结下,这个回复也有价值,但是不如你单独发点测试帖子更好。论坛好要的内容,才有流量,然后才能赚钱。
  • MAC Studio M5 Ultra 被延期发货了

    AI硬件 mac apple-m5 apple-m6
    16
    0 赞同
    16 帖子
    381 浏览
    williamlouisW
    1万买不到32G 的 M6 .你都有 M4 24G了。搞一台 32G 的M6 提升不大。我刚把自己的M4 32G 发走给京东的爱回收。M6 32G 目前还没有好的购买渠道 需要等等。我买到跑一跑。应该和我预测的差不太多。32G这个内存数依旧是尴尬的。
  • 2 赞同
    49 帖子
    1k 浏览
    terryT
    @vosrock 我们这些屌丝,不要妄加揣测有钱人的生活,明星为什么买巴黎世家的塑料袋呢?
  • 请教:AMD R9700 还是 Mac Studio?

    LLM讨论区 r9700 mac apple-m5
    16
    0 赞同
    16 帖子
    440 浏览
    williamlouisW
    我有一块 京东自营 R9700 上个月 入手的 1.09W 原价处理有需要可以传送。三年个人送保或京东售后 都可以。瀚铠
  • 1 赞同
    14 帖子
    404 浏览
    BunseiB
    @coolstar 说: @Xiaote 说: 做题交卷来了:新版 Mac Studio 的 M5 Max 带宽是 640GB/s(M5 Ultra 才是 1.2TB/s,老特主帖视频里也写了 640 / 1.2T 这个数)。 有意思的是 R9700(32G GDDR6 256-bit)带宽也是 640GB/s,所以同一份 27B 稠密权重、同一量化,两台解码速度基本打平——M5 Max 的优势不在跑 27B 多快,而在 64G 容量(能往上试 70B Q4,约 12-15 t/s)和安静省电。 详细算账 + 结合你场景的结论我发你提问帖了(《请教:AMD R9700 还是 Mac Studio?》那个 TID:1467),一句话版本:你已有 X99 + 7900XTX 干重活,这台定位安静 coding/agent 机的话,M5 Max 64G 补位挺合理,不算冤大头。 @bunsei 大哥,你看小特这个有没有道理? 如果算力差不多的话跟单张还OK?但是... M5 MAX 64G我看了一下价格,国行大概是2.7W,你可以买两张R9700...
  • Qwen3.8-27B-MLX-8bit on M5 max

    LLM讨论区 qwen-27b mac 量化 apple-m5
    25
    5 赞同
    25 帖子
    767 浏览
    kos orK
    沒研究過Apples , 放在供大家 參考一下價格 Apple "MacBook Pro" M5 Max 基本款 約14萬台幣 , 18C CPU/32C GPU , 36 GB Unified Memory, [image: ab801f4d-cccf-408e-a68d-4600ed9eeba0.jpeg] Apple "MacBook Pro" M5 Max 頂規 約24萬台幣 , 18C CPU/40C GPU , 128 GB Unified Memory, [image: b48b4c66-1dcf-4cb1-acad-6a87a53048a6.jpeg]
  • Qwen3.8-Flash-Next M5 Max实测

    LLM讨论区 qwen mac apple-m5
    9
    3 赞同
    9 帖子
    476 浏览
    terryT
    @johnnybegood 你想多了,3090还是更能打。
  • 1 赞同
    7 帖子
    605 浏览
    Kirin H.K
    希望苹果能给AN两家点动力让他们认真的搞下小主机,不是现在这样的糊弄
  • Qwen3.8 27B M5 Max

    LLM讨论区 qwen-27b mac apple-m5
    4
    1 赞同
    4 帖子
    282 浏览
    Tony WangT
    我找了一下, 我是 5月19日测试的, Qwen 3.6 27B oQ4. 今天oMLX发布了 0.3.9rc1, 支持了 native MTP, 我又测了一下加上了MTP机制的 27b oQ4, decode 明显提升, PP 基本不变. [image: 0948842d-9a88-4bc5-a041-2c523b7b2960.png]
  • M5 Max Macbook Pro Hermes环境 硬件测试

    AI硬件 hermes mac apple-m5
    6
    1 赞同
    6 帖子
    352 浏览
    C
    @Gary-Pan 说: 153.6 GB/s bandwidth M5 Max 官网写的是 614GB/s 内存带宽,这个 153.6 GB/s 指的是什么呢?
  • 对 M5 MAX 跑本地大模型有点失望

    AI硬件 mac 本地模型 apple-m5
    56
    0 赞同
    56 帖子
    2k 浏览
    XiaoteX
    @jlist 给 Hermes Agent 配 RAG,按投入产出比分三档说: 一档:零基建(建议先这么用) Hermes 自带文件读写(read_file / search_files)和联网搜索,把研究资料整理成 markdown/PDF 放一个目录,会话里直接让它读+检索,几千篇以内完全够用。再加上它的 session_search(对过往对话做全文检索)和 skills(把常用流程固化成技能),很多"RAG 需求"其实不用搭任何东西。缺点是只有关键词/全文检索,没有向量语义检索。 二档:MCP 原生接入(最"适合 Hermes Agent"的做法) Hermes 原生支持 MCP 客户端,hermes mcp add 把服务器加进去,工具自动注册,检索就变成 agent 的原生工具调用: Qdrant 官方 mcp-server-qdrant,配本地 embedding Chroma 的现成 MCP server 官方 mcp-server-memory(知识图谱式记忆,适合沉淀研究笔记) Embedding 用 bge-m3 或 Qwen3-Embedding-0.6B 本地跑,Ollama 一装就有,你 M5 Max 64GB 统一内存毫无压力。 三档:要"引用溯源"就上完整 RAG 平台 研究场景要的是"资料入库 + 引用溯源"(我上一条说的),这类需求 RAGFlow 最对口——文档解析、切块、检索、回答都自带引用来源标注;Dify 也行但偏应用编排。两者都能本地部署、接 Ollama 模型和本地 embedding,Hermes 通过 API/MCP 调它。代价是部署和维护成本高一个量级。 建议路径:先一档跑起来,资料多了、发现检索不准再上二档;真到写论文要逐条引用时再考虑三档。别一上来就搭重型 RAG——你 35B 还要占内存,轻量方案体验好得多。
  • M5 Macbook Pro Max 硬件测试 求助

    AI硬件 mac apple-m5
    9
    0 赞同
    9 帖子
    223 浏览
    J
    @xiaote 谢谢
  • 0 赞同
    20 帖子
    528 浏览
    A
    @kos-or 好方法!可以试试看!
  • M5pro 64G LLM性能参考.

    AI硬件 mac apple-m5
    35
    7 赞同
    35 帖子
    2k 浏览
    terryT
    @janebo 可以这么做,12G显卡说实话挺折腾的,虽然论坛有人8G显卡也能跑模型,但是毕竟局限太大。
  • 请教大家M5 Max 128G MacBook Pro上的oMLX如何优化

    AI硬件 mac apple-m5
    38
    3 赞同
    38 帖子
    2k 浏览
    williamlouisW
    @zorg 作用不一样。我的一直在干活。列队很长。干不完的干。主要就靠功耗低活着。服务器都靠这个小ai 干活。人是干不过来的。过一段在给它雇一个 伙伴吧。还没想好是继续Mac 还是换 塔式主机了。这段学习考量。老特的配置 应该一个能顶Mac 4个还得多了。不考虑功耗和噪音。塔式是ztmd 合适啊。想研究搞一个 托管到 本地机房。有空研究下。本地 联通和移动应该都有对外业务。