接了一个装本地AI的活，苹果Studio 512G统一内存，跑Deepseek V4 flash
-
基于这个框架，也是在LLAM cpp上针对Apple进行了优化的。https://github.com/antirez/ds4?tab=readme-ov-file
-
@devin-hi 跑起来了么？我也有这个设备 老特让我卖了 我也在想 卖了 是不是可以上2个 pro 6000
-
@terry 卖了可以至少有120000 拿一半搞pro6000 是不是太奢侈了 手里硬件太多了 还1个4090 1个 dgx spark 这2个是不是也够用了 不行就接deepseek v4 api 用 早点盈利也是好思路
-
前排MARK.学习
-
我在部署ds4引擎 等测试下结果看速度如何
-
装机完毕，先说结论：M3 utral 512G，内存的确豪横，可以同时跑：deepseek V4 flash （q2量化） 和 Qwen 3.6 -27B 稠密模型，体验30 t/秒， 同时还跑了小龙虾和 hermes，内存占用率30%左右，GPU拉满，CPU 40%左右。第一次看到 一台设备 是内存处于闲置状态。感觉 M3 256G内存足够了，再高就是闲置，目前一台价格等于一台车。。。。。。。穷人看着眼馋，说卖了能换好几个Pro 6000 和 4090 呢。效果不如云端deepseek V4 flash。对于在乎成本的人来说真的没有必要。当然王思聪一类的土老板，可以玩具，发热不高，比我的7900XTX 冷静多了。
-
装机完毕，先说结论：M3 utral 512G，内存的确豪横，可以同时跑：deepseek V4 flash （q2量化） 和 Qwen 3.6 -27B 稠密模型，体验30 t/秒， 同时还跑了小龙虾和 hermes，内存占用率30%左右，GPU拉满，CPU 40%左右。第一次看到 一台设备 是内存处于闲置状态。感觉 M3 256G内存足够了，再高就是闲置，目前一台价格等于一台车。。。。。。。穷人看着眼馋，说卖了能换好几个Pro 6000 和 4090 呢。效果不如云端deepseek V4 flash。对于在乎成本的人来说真的没有必要。当然王思聪一类的土老板，可以玩具，发热不高，比我的7900XTX 冷静多了。
-
人民币61500入手 现在价格预计翻一番 但是很多人都不肯出 不知道他们是怎么用 我觉得我琢磨到唯一用法就是挂多个类似 27b 这样小模型 组agent群 单一模型只适合测试理论研究
-
从我的角度来说，你跑一个大模型还是几个大模型，你会发现GPU就是100%了，但内存就是30%。 就是这样，等待的时间都是GPU的处理时间。
