PRO 6000如果只聊单线程prefill和decode性能,只是和5090相当。
PRO 6000的优势主要在于ECC认证的显存、官方静音涡轮卡(MAX-Q版本)以及多出来的64GB显存。所以公式很简单,如果你认为64GB ECC认证显存的价值>40000人民币,或者你想玩静音阵列(比如MAX-Q * 3)跑deepseek v4 flash,你就可以买。
否则就不买。这里有几个原因。
1、96GB显存,其实跑不下大的Moe模型。122B的Q5量化就爆了。
2、对于小模型,96GB显存又过于overkill。
3、多个模型服务跑在一张显卡上,目前没有一个最佳实践做资源隔离。会降低效率。(因为你一定是用Agent来驱动LLM,所以必然是多个模型同时运行)。
谢谢,所以我的第一感觉应该是没错的,6000确实很屌,但是我目前可能用不太到。真正需要的时候再换好了。
