打个招呼

Tony Wang

一路追踪老特 -> 抡锤者 -> 到这里的, 跟大家打个招呼.

正在探索本地AI, 还没有产生真正的价值, 什么都摸索了一下. 我的机器目前是 M5pro 64G, 27B左右的稠密跑不动, 优化了MLX也就到16 t/s 的样子. 35B, 26B的MOE 倒是飞起, 能到七八十, 可惜智力稍差. 用Hermes配置了64K上下文之后, 内存虽然还没进入swap, 但经常性地跑到50多G, 让我严重内存焦虑, 只好做了一个 reload_model 的命令, 经常性地让Hermes发指令给lm studio重新加载一下, 以便释放一些KV缓存.

ComfyUI 和 Drawthings 生成1张 1024的图大概在20秒到1分钟, 轻量的工作可用. 这点比较好, 我订阅了ChatGPT的plus, 修图的话, 每天的上传文件数量也是有限制的, 这个可以不停地试验. 视频没跑, 估计跑不动.

云端大模型现在确实帮助了我很多, 在生活, 学习, 工作等各个方面. 但是本地的还没, 也想拓展拓展思路, 看看大家都有什么好主意, 能用本地AI帮助自己.

现在的AI爆发, 让我感到了30年前刚接触互联网时的那种兴奋感, 这个东西一定能改变世界的, 甚至改变人类.

terry

1，你先用Deepseek V4 Flash跑起来，白菜价。
2，你要跑本地可以，如果MLX这么吃显存，你就不要用，换LM Studio来看看，记得设置KV量化，你64G消耗这么多内存，主要是同一内存的缺陷导致的，chrome这些非常吃内存，但你不拥有焦虑，因为它快吃完的时候，系统会调度的。没必要提前忧虑。
3，AI已经改变一切了，它正在让利用它赚钱的人迅速拉开生产力优势，但是还未能打破财富模式。

Tony Wang

好, 我也试试 1. 我慢慢摸索看. 多谢.