Mac Studio m5u 512G的mlx-serve benchmark-Deepseek v4.1
-
-
-
-
-
@junyi-gu 肯定是的,4倍价格换来10倍的prefill + 5倍的decode,以及更强的并发能力,如果从总账来讲肯定是显卡更划算。
统一内存方案,其实解决的就是能不能在最低的成本下跑起来这个问题。
@junyi-gu 肯定是的,4倍价格换来10倍的prefill + 5倍的decode,以及更强的并发能力,如果从总账来讲肯定是显卡更划算。
统一内存方案,其实解决的就是能不能在最低的成本下跑起来这个问题。