关于跑模型的显卡功率设置问题的一点疑问
-
-
我的是3090
250w 跟350w 大概差了20% 的 prefill
但是要付出差不多40%的功耗
所以我限制250w -
-
可以让你的AGENT上网找一些方法， 比如让它盯住 每瓦生产的TOKEN数，然后调整显卡功率，显存频率，核心频率等，找找看在什么功率，什么频率下面。 每瓦生产的TOKEN数和显卡温度是你最能接受的甜点位置。
-
可以让你的AGENT上网找一些方法， 比如让它盯住 每瓦生产的TOKEN数，然后调整显卡功率，显存频率，核心频率等，找找看在什么功率，什么频率下面。 每瓦生产的TOKEN数和显卡温度是你最能接受的甜点位置。
-
在所有的推理框架中都可以设置功率，我不懂其他的卡，我只有4090,原功率450w,我设置过320W，380w，我想知道这样是否会降低很多的推理速度还是微乎其微？会不会能更好的保护显卡？我不是啥有钱人，所以我想更好的保护他，多玩几年，穷导致的，不知道有没有人实测过，感谢指教
我实测的数据320W差不多50-60度左右
380W60-70度左右
450w我跑的不多，但记忆中好像也就70-75度左右
-
@bily-j
你把任务直接交给Agent去做, 让它做干净的 A/B 测试. 我是最终选择了大概 80% 最高功率去运行. 性能, 温度和噪音的差异都不大.温度要看热平衡之后的温度, 需要你的测试跑15分钟或者更久. 或者单独做压测, 来测温度.
以下是AI生成, 供参考:
你的 GPU 温度确实很低，非常凉爽。按你报的数字，320W 时约 50–60°C，380W 时约 60–70°C；NVIDIA 给 RTX 4090 标出的最高 GPU 温度是 90°C。**单从 GPU 核心温度看，我认为你不必为了降温而特意限制功率。不过 90°C 是规格上限，不是建议长期以此为目标运行； 不同厂商的 4090 具体板卡规格也可能有差异。(nvidia.com)
限功率更直接的好处是降低耗电和发热；至于能不能延长显卡寿命、能延长多少，不能只凭温度或一次测试下结论。若你的目标是省电、减少机箱排热或噪声，限功率仍然值得测一测；若只是担心目前的温度，从你给出的读数看似乎没有这个必要。
我们之前在 RTX PRO 5000 Blackwell 上做过 250/270/300W 的推理测试：在那套模型和负载下，250W 相比 300W，decode 约慢 3%（散文类）到 4%（代码类，校正投机解码分叉后），长上下文 prefill 慢约 6–7%，但每个输出 token 的能耗低约 12–14%。测试最高温度分别是 82°C、84°C、87°C，期间没有热节流。这是另一张卡、另一套负载的结果，只能说明测试思路和我们那次的取舍，不能直接推算你的 4090 限到 320W 会慢多少。NVIDIA 官方资料列出 RTX PRO 5000 Blackwell 最大功耗为 300W，但我没查到官方公布的最高 GPU 温度规格；我们测到的 87°C 只是那次测试值，不是官方安全上限。(nvidia.cn)
如果想知道 320W、380W、450W 对你这张卡的实际影响，可以让 Agent 帮忙做个简单的 A/B 测试：
- 固定同一模型、推理框架、提示词、输入和输出长度、并发数，只改变功率上限。
- 每档先预热，再跑同一组任务，建议重复几轮；测试顺序交替安排，例如 320W→450W→320W，减少环境变化带来的偏差。
- 记录 prefill 和 decode 速度、整卡功耗、GPU 核心温度、hotspot 温度、风扇转速，最好同时记室温；用多轮结果的中位数比较。
- 比较速度、温度，以及每瓦 token 数或每个输出 token 的能耗，再选自己觉得合适的折中点。
让 Agent 只负责测量和整理，不要自动改频率、电压或长期设置；每档测试后也确认功率设置恢复原值。这样得到的才是你这张卡、这套负载下的实测答案。
-
@bily-j
你把任务直接交给Agent去做, 让它做干净的 A/B 测试. 我是最终选择了大概 80% 最高功率去运行. 性能, 温度和噪音的差异都不大.温度要看热平衡之后的温度, 需要你的测试跑15分钟或者更久. 或者单独做压测, 来测温度.
以下是AI生成, 供参考:
你的 GPU 温度确实很低，非常凉爽。按你报的数字，320W 时约 50–60°C，380W 时约 60–70°C；NVIDIA 给 RTX 4090 标出的最高 GPU 温度是 90°C。**单从 GPU 核心温度看，我认为你不必为了降温而特意限制功率。不过 90°C 是规格上限，不是建议长期以此为目标运行； 不同厂商的 4090 具体板卡规格也可能有差异。(nvidia.com)
限功率更直接的好处是降低耗电和发热；至于能不能延长显卡寿命、能延长多少，不能只凭温度或一次测试下结论。若你的目标是省电、减少机箱排热或噪声，限功率仍然值得测一测；若只是担心目前的温度，从你给出的读数看似乎没有这个必要。
我们之前在 RTX PRO 5000 Blackwell 上做过 250/270/300W 的推理测试：在那套模型和负载下，250W 相比 300W，decode 约慢 3%（散文类）到 4%（代码类，校正投机解码分叉后），长上下文 prefill 慢约 6–7%，但每个输出 token 的能耗低约 12–14%。测试最高温度分别是 82°C、84°C、87°C，期间没有热节流。这是另一张卡、另一套负载的结果，只能说明测试思路和我们那次的取舍，不能直接推算你的 4090 限到 320W 会慢多少。NVIDIA 官方资料列出 RTX PRO 5000 Blackwell 最大功耗为 300W，但我没查到官方公布的最高 GPU 温度规格；我们测到的 87°C 只是那次测试值，不是官方安全上限。(nvidia.cn)
如果想知道 320W、380W、450W 对你这张卡的实际影响，可以让 Agent 帮忙做个简单的 A/B 测试：
- 固定同一模型、推理框架、提示词、输入和输出长度、并发数，只改变功率上限。
- 每档先预热，再跑同一组任务，建议重复几轮；测试顺序交替安排，例如 320W→450W→320W，减少环境变化带来的偏差。
- 记录 prefill 和 decode 速度、整卡功耗、GPU 核心温度、hotspot 温度、风扇转速，最好同时记室温；用多轮结果的中位数比较。
- 比较速度、温度，以及每瓦 token 数或每个输出 token 的能耗，再选自己觉得合适的折中点。
让 Agent 只负责测量和整理，不要自动改频率、电压或长期设置；每档测试后也确认功率设置恢复原值。这样得到的才是你这张卡、这套负载下的实测答案。
@Tony-Wang 感谢哈，我的agent系统有记忆系统，所以很快就测出来了他说
prefill是属于算力密集型，差18%左右
decode--140t/s几乎无感
我说的是320W（prefill：1300左右）-380w（prefill：1600左右）
留个记录，给以后的人一点参考吧
我的目的主要是保护显卡，总感觉温度不要烧太高对他来说是更好的保护，不知道是心理作用还是真实有效
-
