我普通人的算力需求 病态
-
只是说说个人感受
我个人玩家
也没搞视频
现在用着3090x2 ,也用claude
本地大模型 只是驱动自己的hermes 跟 RAG
感觉已经超过我自己的需求
Hermes 也少用 多数都用claude 解决问题
也用显卡转了几个3d 电影
但是只看了一套,而且是快进的看 完全没有真正享受3d 电影但是心里一直想要 更多的显卡
一直想买r9700我是不是生病了
@applejuice 钱够就买。 你看看我跑 deepseek那个帖子, 里面写了我的硬件升级历程,目标就是把deepseek跑起来, 现在跑起来了, 我很快乐。
-
只是说说个人感受
我个人玩家
也没搞视频
现在用着3090x2 ,也用claude
本地大模型 只是驱动自己的hermes 跟 RAG
感觉已经超过我自己的需求
Hermes 也少用 多数都用claude 解决问题
也用显卡转了几个3d 电影
但是只看了一套,而且是快进的看 完全没有真正享受3d 电影但是心里一直想要 更多的显卡
一直想买r9700我是不是生病了
@applejuice 3090不差啊~R9700換上去應該沒啥感覺~
-
@applejuice 钱够就买。 你看看我跑 deepseek那个帖子, 里面写了我的硬件升级历程,目标就是把deepseek跑起来, 现在跑起来了, 我很快乐。
@johnnybegood 我有看到,但是这样的速度不能用啊
-
@applejuice 3090不差啊~R9700換上去應該沒啥感覺~
-
@johnnybegood 我有看到,但是这样的速度不能用啊
@applejuice 确实也是, 现在看没多久之前的 qwen2 , deepseek V3 都不想用了, 甚至 qwen3.5 都不想用了, 估计过不了多久, deepseek V4 也不香了, 想想现在费了这么大劲跑起来到底是为了什么?
-
没有必要上r7900,qwen3.827b够日常用了,ai发展的很快,说不定明年就出现远超现在的推理硬件了,现在不适合投入太多进去
-
@applejuice 确实也是, 现在看没多久之前的 qwen2 , deepseek V3 都不想用了, 甚至 qwen3.5 都不想用了, 估计过不了多久, deepseek V4 也不香了, 想想现在费了这么大劲跑起来到底是为了什么?
@johnnybegood 个人觉得以后小模型会越来越好
但是我们会需要很多的小模型
比如说这次 Jev 模型所以我个人想买gpu

-
没有必要上r7900,qwen3.827b够日常用了,ai发展的很快,说不定明年就出现远超现在的推理硬件了,现在不适合投入太多进去
@heheimback 是的 真的变太快了
算力焦虑 又想要 又怕错过了就失去一个亿 -
@heheimback 是的 真的变太快了
算力焦虑 又想要 又怕错过了就失去一个亿@applejuice 你有真实需求才行,别没有需求制造焦虑,我是每天夜里都跑RAG,才部署的本地模型
-
@applejuice 你有真实需求才行,别没有需求制造焦虑,我是每天夜里都跑RAG,才部署的本地模型
@heheimback 我也把rag 搞好了
还在继续改进
最近跑出一个jev 模型 概念
我想这可能需要用到 但是我的3090 已经用满了虽然现在暂时不需要用到 只是概念
这类 决策类 小模型, 据ai 解释用cpu 都可以跑 没必要买gpu
但是又担心不久将来会有更多类似的模型 -
大家都差不多, 显存多大都不嫌多.
不过冷静地想一下, 绝大多数日常的本地应用, 我现在的显卡已经够了. 大规模参数的模型, 我本地部署也没有性价比.
所以, 不如保持现状, 本地+云端的混合.
@Tony-Wang 我需要冷静冷静

-
@applejuice 你有真实需求才行,别没有需求制造焦虑,我是每天夜里都跑RAG,才部署的本地模型
@heheimback RAG效果怎么样, 我用过一阵 notebookLM应该算是rag天花板了吧但是感觉也不太好
-
不算病,是这类设备的「容量焦虑」——本地推理的瓶颈几乎总是显存容量而不是算力,所以看到更大的卡就想换。
但对你的负载(Hermes + RAG + 偶尔转 3D)先算笔账:3090 24G 换到 R9700 32G,只多 8G 容量,带宽 936 到约 960 GB/s 基本同级,decode 不会有明显跳变;真正会变的是能塞进多少上下文、多大的 MoE。如果现在没被这个卡住,换卡就是消费不是升级。
想分清真需求还是焦虑,给自己定一条:列出最近一个月因为显存不够而失败的具体任务,超过 3 个再买;否则先把现有算力跑满(并发、KV 量化、offload),通常比换卡划算。
-
不算病,是这类设备的「容量焦虑」——本地推理的瓶颈几乎总是显存容量而不是算力,所以看到更大的卡就想换。
但对你的负载(Hermes + RAG + 偶尔转 3D)先算笔账:3090 24G 换到 R9700 32G,只多 8G 容量,带宽 936 到约 960 GB/s 基本同级,decode 不会有明显跳变;真正会变的是能塞进多少上下文、多大的 MoE。如果现在没被这个卡住,换卡就是消费不是升级。
想分清真需求还是焦虑,给自己定一条:列出最近一个月因为显存不够而失败的具体任务,超过 3 个再买;否则先把现有算力跑满(并发、KV 量化、offload),通常比换卡划算。
-
只是说说个人感受
我个人玩家
也没搞视频
现在用着3090x2 ,也用claude
本地大模型 只是驱动自己的hermes 跟 RAG
感觉已经超过我自己的需求
Hermes 也少用 多数都用claude 解决问题
也用显卡转了几个3d 电影
但是只看了一套,而且是快进的看 完全没有真正享受3d 电影但是心里一直想要 更多的显卡
一直想买r9700我是不是生病了
@applejuice R9700不會比較快 買的是心安 新卡保修 如果有硬件而且效能過剩不用再買了 真的要換就要上48gb以上 不然無感 尤其N卡生態還是很強的
-
@applejuice 我有4090 48跟R9700*2 說真的那個速度帶寬一比就難受 還是喜歡用4090跑 但4090是魔改的 現在掛了
-
@applejuice 我有4090 48跟R9700*2 說真的那個速度帶寬一比就難受 還是喜歡用4090跑 但4090是魔改的 現在掛了
-
@starryskyknight 建議是別搞 壞之前都覺得輪不到自己 壞了你就知道痛了 世上沒有後悔藥 現在寧願多花錢搞RTX PRO 5000 或者你可以等看看PRO5500 痛一次一勞永逸