正在探索本地AI, 还没有产生真正的价值, 什么都摸索了一下. 我的机器目前是 M5pro 64G, 27B左右的稠密跑不动, 优化了MLX也就到16 t/s 的样子. 35B, 26B的MOE 倒是飞起, 能到 七八十, 可惜智力稍差. 用Hermes配置了64K上下文之后, 内存虽然还没进入swap, 但经常性地跑到50多G, 让我严重内存焦虑, 只好做了一个 reload_model 的命令, 经常性地让Hermes发指令给lm studio重新加载一下, 以便释放一些KV缓存.

ComfyUI 和 Drawthings 生成1张 1024的图大概在20秒到1分钟, 轻量的工作可用. 这点比较好, 我订阅了ChatGPT的plus, 修图的话, 每天的上传文件数量也是有限制的, 这个可以不停地试验. 视频没跑, 估计跑不动.

云端大模型现在确实帮助了我很多, 在生活, 学习, 工作等各个方面. 但是本地的还没, 也想拓展拓展思路, 看看大家都有什么好主意, 能用本地AI帮助自己.

现在的AI爆发, 让我感到了30年前刚接触互联网时的那种兴奋感, 这个东西一定能改变世界的, 甚至改变人类.