Pro 6000都是怎么玩?
-
@Ray Wang 说说我的看法~
Pro 6000 对 AI 工作负载其实有好有坏:
好处:
- 96GB显存可以同时塞Qwen3.6 27B + ComfyUI模型,不用切来切去
- 功耗低很多(单卡300W vs 三卡3090的900W+)
- AMD ROCm现在对comfyui和llama.cpp的支持已经比较成熟了
但你说的"不能协同"确实是痛点:
- Pro 6000虽然显存大,但同一时间只能跑一个重度任务(要么跑LLM推理,要么跑ComfyUI生图),不能真正"并行"
- 三卡3090可以拆开用:两张跑LLM推理(张量并行),一张专跑ComfyUI
- 而且Pro 6000的生态支持和社区资源远不如3090丰富,遇到问题debug更困难
我的建议:如果你已经有3090了,再加一张3090组双卡性价比最高。三卡3090 = 72GB显存 + 真正的并行能力,比你卖掉3090换Pro 6000实用得多。Pro 6000适合那些需要单卡大显存跑超大模型(如70B+)的场景。
-
最近想更新一下我的配置,平时用Openclaw帮我做调研,写码,也用comfyui跑图。我算了一下,咬咬牙其实可以上一张Pro 6000。
但Pro 6000在我眼里就是皇帝的金锄头
我手里已经有一块3090了,如果再加一块3090,我就可以比较舒服的跑Qwen3.6 27b了,甚至还能并行。如果我需要做图,我还可以再加一张3090,单独用来跑comfyui,跟另外两张3090协同。
但是如果只装一块Pro 6000的话,虽然好像可以把两种模型都装进显存,但是似乎却不能协同作业?也就是说虽然我可以并行很多大模型,但是却不能同时作图?
当然了,一张Pro 6000的耗电低得多,但我还是觉得我目前的工作吃不满96gb显存。我这种情况是不是买两张魔改4090更合适?
最近想更新一下我的配置,平时用Openclaw帮我做调研,写码,也用comfyui跑图。我算了一下,咬咬牙其实可以上一张Pro 6000。
但Pro 6000在我眼里就是皇帝的金锄头
我手里已经有一块3090了,如果再加一块3090,我就可以比较舒服的跑Qwen3.6 27b了,甚至还能并行。如果我需要做图,我还可以再加一张3090,单独用来跑comfyui,跟另外两张3090协同。
但是如果只装一块Pro 6000的话,虽然好像可以把两种模型都装进显存,但是似乎却不能协同作业?也就是说虽然我可以并行很多大模型,但是却不能同时作图?
当然了,一张Pro 6000的耗电低得多,但我还是觉得我目前的工作吃不满96gb显存。我这种情况是不是买两张魔改4090更合适?
有钱就买96G显存的。万一出来牛逼模型需要64以上显存你的卡就有用了。反正运行什么都快,不是吗。
-
最近想更新一下我的配置,平时用Openclaw帮我做调研,写码,也用comfyui跑图。我算了一下,咬咬牙其实可以上一张Pro 6000。
但Pro 6000在我眼里就是皇帝的金锄头
我手里已经有一块3090了,如果再加一块3090,我就可以比较舒服的跑Qwen3.6 27b了,甚至还能并行。如果我需要做图,我还可以再加一张3090,单独用来跑comfyui,跟另外两张3090协同。
但是如果只装一块Pro 6000的话,虽然好像可以把两种模型都装进显存,但是似乎却不能协同作业?也就是说虽然我可以并行很多大模型,但是却不能同时作图?
当然了,一张Pro 6000的耗电低得多,但我还是觉得我目前的工作吃不满96gb显存。我这种情况是不是买两张魔改4090更合适?
@Ray-Wang AI的分析永远很片面。我推6000
3090 多少有赌的成分。而且 串行 也不一定会慢多少。再有战未来吗!不能并行是现在。AI发展很快。
大显存是显卡价值的未来规划。放心以后的模型会像Windows一样。门槛就是硬件。
钱要是充裕就上6000。钱紧张的话就不要研究了。 -
最近想更新一下我的配置,平时用Openclaw帮我做调研,写码,也用comfyui跑图。我算了一下,咬咬牙其实可以上一张Pro 6000。
但Pro 6000在我眼里就是皇帝的金锄头
我手里已经有一块3090了,如果再加一块3090,我就可以比较舒服的跑Qwen3.6 27b了,甚至还能并行。如果我需要做图,我还可以再加一张3090,单独用来跑comfyui,跟另外两张3090协同。
但是如果只装一块Pro 6000的话,虽然好像可以把两种模型都装进显存,但是似乎却不能协同作业?也就是说虽然我可以并行很多大模型,但是却不能同时作图?
当然了,一张Pro 6000的耗电低得多,但我还是觉得我目前的工作吃不满96gb显存。我这种情况是不是买两张魔改4090更合适?
-
PRO 6000如果只聊单线程prefill和decode性能,只是和5090相当。
PRO 6000的优势主要在于ECC认证的显存、官方静音涡轮卡(MAX-Q版本)以及多出来的64GB显存。所以公式很简单,如果你认为64GB ECC认证显存的价值>40000人民币,或者你想玩静音阵列(比如MAX-Q * 3)跑deepseek v4 flash,你就可以买。
否则就不买。这里有几个原因。
1、96GB显存,其实跑不下大的Moe模型。122B的Q5量化就爆了。
2、对于小模型,96GB显存又过于overkill。
3、多个模型服务跑在一张显卡上,目前没有一个最佳实践做资源隔离。会降低效率。(因为你一定是用Agent来驱动LLM,所以必然是多个模型同时运行)。 -
PRO 6000如果只聊单线程prefill和decode性能,只是和5090相当。
PRO 6000的优势主要在于ECC认证的显存、官方静音涡轮卡(MAX-Q版本)以及多出来的64GB显存。所以公式很简单,如果你认为64GB ECC认证显存的价值>40000人民币,或者你想玩静音阵列(比如MAX-Q * 3)跑deepseek v4 flash,你就可以买。
否则就不买。这里有几个原因。
1、96GB显存,其实跑不下大的Moe模型。122B的Q5量化就爆了。
2、对于小模型,96GB显存又过于overkill。
3、多个模型服务跑在一张显卡上,目前没有一个最佳实践做资源隔离。会降低效率。(因为你一定是用Agent来驱动LLM,所以必然是多个模型同时运行)。PRO 6000如果只聊单线程prefill和decode性能,只是和5090相当。
PRO 6000的优势主要在于ECC认证的显存、官方静音涡轮卡(MAX-Q版本)以及多出来的64GB显存。所以公式很简单,如果你认为64GB ECC认证显存的价值>40000人民币,或者你想玩静音阵列(比如MAX-Q * 3)跑deepseek v4 flash,你就可以买。
否则就不买。这里有几个原因。
1、96GB显存,其实跑不下大的Moe模型。122B的Q5量化就爆了。
2、对于小模型,96GB显存又过于overkill。
3、多个模型服务跑在一张显卡上,目前没有一个最佳实践做资源隔离。会降低效率。(因为你一定是用Agent来驱动LLM,所以必然是多个模型同时运行)。谢谢,所以我的第一感觉应该是没错的,6000确实很屌,但是我目前可能用不太到。真正需要的时候再换好了。
