京东自营上了5090、6000pro，应该怎么选。
-
目前的需求是想跑localLLM（也就是qwen3.6-27B）来支持hermes agent。图、音、视频的本地生成是可选项。
目前京东自营的价格是5090 33331, RTX PRO 6000的工作站版本和MAX-Q版本都是72634。想问一下锤哥和大家，这二者从性价比的角度考虑如何选择与解读。网上有种论调是RTX PRO 6000 的96GB显存其实比较鸡肋。稍大的模型跑不了，小模型又overkill。
我能想到的对于96GB显存最好的使用场景就是localLLM+本地音视频，5090的32GB显存应该是满足不了同时LLM和图片文生图的。
不知道各位怎么理解。
虚心交流，一起进步
-
目前的需求是想跑localLLM（也就是qwen3.6-27B）来支持hermes agent。图、音、视频的本地生成是可选项。
目前京东自营的价格是5090 33331, RTX PRO 6000的工作站版本和MAX-Q版本都是72634。想问一下锤哥和大家，这二者从性价比的角度考虑如何选择与解读。网上有种论调是RTX PRO 6000 的96GB显存其实比较鸡肋。稍大的模型跑不了，小模型又overkill。
我能想到的对于96GB显存最好的使用场景就是localLLM+本地音视频，5090的32GB显存应该是满足不了同时LLM和图片文生图的。
不知道各位怎么理解。
-
@王一民 4090 48G或者RTX Pro6000，有钱就上6000，一步到位，是有性能过剩的嫌疑，这是事实，但5090确实有显存不够用的时候。你就算买RTX Pro6000，也最好不要同时用它跑模型和生图，因为抢资源你不好控制。也可以卖一个32G的4080S搭配5090或者RTX pro5000.
-
@王一民 4090 48G或者RTX Pro6000，有钱就上6000，一步到位，是有性能过剩的嫌疑，这是事实，但5090确实有显存不够用的时候。你就算买RTX Pro6000，也最好不要同时用它跑模型和生图，因为抢资源你不好控制。也可以卖一个32G的4080S搭配5090或者RTX pro5000.
@terry 个人认为与其称之为“性能过剩”的说法，不如还是“和需求不匹配”来的恰当。在这里想较个真哈，纯粹是阐述一下剖析底层需求的逻辑方法，如果能帮到硬件选型的朋友也算歪打正着了：
1，假如像之前想买双DGX Spark的老哥说主要用来跑deepseek-v4-flash辅助写作，那么他需求的吐字速度就是比人眼阅读速度的极限快个2倍就行，因为他是真的要亲自来阅读模型输出的每个字的。他真正迫切的是VRAM要大到能装下聪明（大容量）的脑子，而50tokens/s和400tokens/s对老哥来说其实没有任何差异（心理上更爽带来的提升不算，没有实质命中需求）。
2，举个自己的例子，我自己跑文生图/图生图是依赖comfyUI工作流（ERNIE或者Qwen-Image）的，通常在草稿阶段需要我根据老婆口述的模糊设计，自己写提示词让工作流生成800x800的样稿，然后给她过目再口述怎么改，我再改提示词如此往复，直到老婆大人满意定稿，我再输出高清图或者作为视频的关键帧再去制作视频。这个改稿的过程少则10几次，多则三四十次，偶尔途中可能还会推翻设计。那么20多秒出图就一定比1分钟出图更有效率，每一秒的提升在我这都是实实在在的。
3，用来驱动Hermes跑定时任务or处理日杂事务，驱动claude code用来氛围开发或者像我作为操作Linux的中间层（我自己接触Linux起步较晚并不熟练，cc作为一根“Linux拐杖”简直深得我心，非常满意）。这类智能体会根据你布置给它的任务，从它自身的Harness里按范式一步一步尝试解决，虽然是会越来越聪明但那是在至少以周甚至月为尺度的多次复用情况下的。你临时给一个任务平均它就是要尝试10几次甚至二三十次才能搞定的，这种情况下IT（指令遵循）大模型输出的绝大部分内容都不需要你来阅读，纯属Agent<=>ITLLm之间的交互，你就坐等一个成功or失败的结果。这时候不论是prefill（LLM读）还是decode（LLM写），信我的你一定是希望越快越好，你不会希望给claude code说一句“按照上次的方式再重装一次SGLang框架”，1分钟快到了他才刚刚找到之前的memory开始读skills，你一定会Ctrl+C了自己来的。情况1就是算力有个保证超过阅读速度的门槛过了就行，往上看VRAM能够到哪个模型就花多少钱，是DGX还是MacStudioUltra256G，甚至10多个收一台512G的跑671B也随你喜欢；
情况2和3就是Vram有个门槛过了就行，比如只跑qwen3.6-27b-q4_K_M@128kContext，但是速度能跑多快给我跑多快，你就挑大于22G显存（举个例子没具体算）的预算内的最好的gpu就行，能折腾想省钱就amd，不想折腾就nvidia；大概率不会跑偏。
-
@terry 个人认为与其称之为“性能过剩”的说法，不如还是“和需求不匹配”来的恰当。在这里想较个真哈，纯粹是阐述一下剖析底层需求的逻辑方法，如果能帮到硬件选型的朋友也算歪打正着了：
1，假如像之前想买双DGX Spark的老哥说主要用来跑deepseek-v4-flash辅助写作，那么他需求的吐字速度就是比人眼阅读速度的极限快个2倍就行，因为他是真的要亲自来阅读模型输出的每个字的。他真正迫切的是VRAM要大到能装下聪明（大容量）的脑子，而50tokens/s和400tokens/s对老哥来说其实没有任何差异（心理上更爽带来的提升不算，没有实质命中需求）。
2，举个自己的例子，我自己跑文生图/图生图是依赖comfyUI工作流（ERNIE或者Qwen-Image）的，通常在草稿阶段需要我根据老婆口述的模糊设计，自己写提示词让工作流生成800x800的样稿，然后给她过目再口述怎么改，我再改提示词如此往复，直到老婆大人满意定稿，我再输出高清图或者作为视频的关键帧再去制作视频。这个改稿的过程少则10几次，多则三四十次，偶尔途中可能还会推翻设计。那么20多秒出图就一定比1分钟出图更有效率，每一秒的提升在我这都是实实在在的。
3，用来驱动Hermes跑定时任务or处理日杂事务，驱动claude code用来氛围开发或者像我作为操作Linux的中间层（我自己接触Linux起步较晚并不熟练，cc作为一根“Linux拐杖”简直深得我心，非常满意）。这类智能体会根据你布置给它的任务，从它自身的Harness里按范式一步一步尝试解决，虽然是会越来越聪明但那是在至少以周甚至月为尺度的多次复用情况下的。你临时给一个任务平均它就是要尝试10几次甚至二三十次才能搞定的，这种情况下IT（指令遵循）大模型输出的绝大部分内容都不需要你来阅读，纯属Agent<=>ITLLm之间的交互，你就坐等一个成功or失败的结果。这时候不论是prefill（LLM读）还是decode（LLM写），信我的你一定是希望越快越好，你不会希望给claude code说一句“按照上次的方式再重装一次SGLang框架”，1分钟快到了他才刚刚找到之前的memory开始读skills，你一定会Ctrl+C了自己来的。情况1就是算力有个保证超过阅读速度的门槛过了就行，往上看VRAM能够到哪个模型就花多少钱，是DGX还是MacStudioUltra256G，甚至10多个收一台512G的跑671B也随你喜欢；
情况2和3就是Vram有个门槛过了就行，比如只跑qwen3.6-27b-q4_K_M@128kContext，但是速度能跑多快给我跑多快，你就挑大于22G显存（举个例子没具体算）的预算内的最好的gpu就行，能折腾想省钱就amd，不想折腾就nvidia；大概率不会跑偏。
@benton-yi 很好的分享，赞同
