接了一个装本地AI的活,苹果Studio 512G统一内存,跑Deepseek V4 flash
-
人民币61500入手 现在价格预计翻一番 但是很多人都不肯出 不知道他们是怎么用 我觉得我琢磨到唯一用法就是挂多个类似 27b 这样小模型 组agent群 单一模型只适合测试理论研究
-
@terry 卖了可以至少有120000 拿一半搞pro6000 是不是太奢侈了 手里硬件太多了 还1个4090 1个 dgx spark 这2个是不是也够用了 不行就接deepseek v4 api 用 早点盈利也是好思路
-
前排MARK.学习
-
我在部署ds4引擎 等测试下结果看速度如何
-
装机完毕,先说结论:M3 utral 512G,内存的确豪横,可以同时跑:deepseek V4 flash (q2量化) 和 Qwen 3.6 -27B 稠密模型,体验30 t/秒, 同时还跑了小龙虾和 hermes,内存占用率30%左右,GPU拉满,CPU 40%左右。第一次看到 一台设备 是内存处于闲置状态。感觉 M3 256G内存足够了,再高就是闲置,目前一台价格等于一台车。。。。。。。穷人看着眼馋,说卖了能换好几个Pro 6000 和 4090 呢。效果不如云端deepseek V4 flash。对于在乎成本的人来说真的没有必要。当然王思聪一类的土老板,可以玩具,发热不高,比我的7900XTX 冷静多了。
-
装机完毕,先说结论:M3 utral 512G,内存的确豪横,可以同时跑:deepseek V4 flash (q2量化) 和 Qwen 3.6 -27B 稠密模型,体验30 t/秒, 同时还跑了小龙虾和 hermes,内存占用率30%左右,GPU拉满,CPU 40%左右。第一次看到 一台设备 是内存处于闲置状态。感觉 M3 256G内存足够了,再高就是闲置,目前一台价格等于一台车。。。。。。。穷人看着眼馋,说卖了能换好几个Pro 6000 和 4090 呢。效果不如云端deepseek V4 flash。对于在乎成本的人来说真的没有必要。当然王思聪一类的土老板,可以玩具,发热不高,比我的7900XTX 冷静多了。
-
人民币61500入手 现在价格预计翻一番 但是很多人都不肯出 不知道他们是怎么用 我觉得我琢磨到唯一用法就是挂多个类似 27b 这样小模型 组agent群 单一模型只适合测试理论研究
从我的角度来说,你跑一个大模型还是几个大模型,你会发现GPU就是100%了,但内存就是30%。 就是这样,等待的时间都是GPU的处理时间。
-
从我的角度来说,你跑一个大模型还是几个大模型,你会发现GPU就是100%了,但内存就是30%。 就是这样,等待的时间都是GPU的处理时间。