抡锤者

我也玩的不亦乐乎，话说ai max 395的128G统一内存的好处就是没有显存焦虑，新出的模型可以随便玩，无非就是慢点

编程的话还是不建议用本地模型，尤其是对接 claude code 或 open code 这类编程代理工具，prefill 的速度慢的让人无法忍受。即使上 5090 ，prefill 3000+ , 本地编程模型的水平也实在一般，即使是 qwen3.6-27B 的编程水平也只是凑乎能用而已。

在 vae 解码节点前面可以加 清理显存或卸载模型节点，vae 解码挺吃显存的，特别是生成长时间的视频，我的 ai max 395, 使用标准的 ltx2.3 图生视频工作流生成 5s的视频，跑到最后就卡死了。加了“清理显存节点” 后，可以生成 10s, 20s 的视频了

1. easytier 主要是 p2p, 有免费公共节点（只用于发现），如果自己有ip 主机也可以做为一个节点，可以自动中转
2. 节点小宝 支持两个节点组网，p2p 免费，中继免费 每月 5G 够用。节点小宝使用体验非常不错， 127.0.0.1:anyport 他自动映射到 组网ip + 端口

@kindalo

287.38 tok/s 是双卡的测试数据

数据来源 ： https://kyuz0.github.io/amd-r9700-ai-toolboxes/

上面的测试数据，老外没有使用投机解码
如果开投机解码，估计能到 50+ token / s

llama.cpp mtp 确实可以用， 我的 ai max 395 跑 qwen3.6-27b 24T/s

参考这个社区主题

https://www.reddit.com/r/LocalLLaMA/comments/1t5ageq/qwen3627b_with_mtp_grafted_on_unsloth_ud_xl_25x/

mtp 分支还没有合并到主分支，目前还存在的问题

1. 只支持np = 1
2. 暂不支持多模态