最近的新闻显示国产的AI厂商就是大量购买5090在跑测试,梁圣前几天不是说的公司轻量化模型可在游戏显卡上稳定运行。这些推理任务能够极大缓解显存紧张的问题。这里面的游戏卡指的应该是RTS 5090或者RTS 4090这样的显卡,用来部署轻量化Agent是有可能的,恐怕不止Deepseek一家在干。所以最近显存高于20GB的显卡基本上都抢光了,不断刷新历史最高价。
最近的新闻显示国产的AI厂商就是大量购买5090在跑测试,梁圣前几天不是说的公司轻量化模型可在游戏显卡上稳定运行。这些推理任务能够极大缓解显存紧张的问题。这里面的游戏卡指的应该是RTS 5090或者RTS 4090这样的显卡,用来部署轻量化Agent是有可能的,恐怕不止Deepseek一家在干。所以最近显存高于20GB的显卡基本上都抢光了,不断刷新历史最高价。
显卡换了就能跑。
CPU在推理时其实帮不上忙,除非你溢出到内存。