我普通人的算力需求 病态
-
只是说说个人感受
我个人玩家
也没搞视频
现在用着3090x2 ，也用claude
本地大模型 只是驱动自己的hermes 跟 RAG
感觉已经超过我自己的需求
Hermes 也少用 多数都用claude 解决问题
也用显卡转了几个3d 电影
但是只看了一套，而且是快进的看 完全没有真正享受3d 电影但是心里一直想要 更多的显卡
一直想买r9700我是不是生病了
@applejuice 3090不差啊~R9700換上去應該沒啥感覺~
-
@applejuice 钱够就买。 你看看我跑 deepseek那个帖子， 里面写了我的硬件升级历程，目标就是把deepseek跑起来， 现在跑起来了， 我很快乐。
-
@applejuice 3090不差啊~R9700換上去應該沒啥感覺~
-
@johnnybegood 我有看到，但是这样的速度不能用啊
@applejuice 确实也是， 现在看没多久之前的 qwen2 ， deepseek V3 都不想用了， 甚至 qwen3.5 都不想用了， 估计过不了多久， deepseek V4 也不香了， 想想现在费了这么大劲跑起来到底是为了什么？
-
没有必要上r7900,qwen3.827b够日常用了，ai发展的很快，说不定明年就出现远超现在的推理硬件了，现在不适合投入太多进去
-
@applejuice 确实也是， 现在看没多久之前的 qwen2 ， deepseek V3 都不想用了， 甚至 qwen3.5 都不想用了， 估计过不了多久， deepseek V4 也不香了， 想想现在费了这么大劲跑起来到底是为了什么？
@johnnybegood 个人觉得以后小模型会越来越好
但是我们会需要很多的小模型
比如说这次 Jev 模型所以我个人想买gpu
-
没有必要上r7900,qwen3.827b够日常用了，ai发展的很快，说不定明年就出现远超现在的推理硬件了，现在不适合投入太多进去
-
@heheimback 是的 真的变太快了
算力焦虑 又想要 又怕错过了就失去一个亿 -
@applejuice 你有真实需求才行，别没有需求制造焦虑，我是每天夜里都跑RAG，才部署的本地模型
@heheimback 我也把rag 搞好了
还在继续改进
最近跑出一个jev 模型 概念
我想这可能需要用到 但是我的3090 已经用满了虽然现在暂时不需要用到 只是概念
这类 决策类 小模型， 据ai 解释用cpu 都可以跑 没必要买gpu
但是又担心不久将来会有更多类似的模型 -
大家都差不多, 显存多大都不嫌多.
不过冷静地想一下, 绝大多数日常的本地应用, 我现在的显卡已经够了. 大规模参数的模型, 我本地部署也没有性价比.
所以, 不如保持现状, 本地+云端的混合.
@Tony-Wang 我需要冷静冷静
-
@applejuice 你有真实需求才行，别没有需求制造焦虑，我是每天夜里都跑RAG，才部署的本地模型
@heheimback RAG效果怎么样， 我用过一阵 notebookLM应该算是rag天花板了吧但是感觉也不太好
-
不算病，是这类设备的「容量焦虑」——本地推理的瓶颈几乎总是显存容量而不是算力，所以看到更大的卡就想换。
但对你的负载（Hermes + RAG + 偶尔转 3D）先算笔账：3090 24G 换到 R9700 32G，只多 8G 容量，带宽 936 到约 960 GB/s 基本同级，decode 不会有明显跳变；真正会变的是能塞进多少上下文、多大的 MoE。如果现在没被这个卡住，换卡就是消费不是升级。
想分清真需求还是焦虑，给自己定一条：列出最近一个月因为显存不够而失败的具体任务，超过 3 个再买；否则先把现有算力跑满（并发、KV 量化、offload），通常比换卡划算。
-
不算病，是这类设备的「容量焦虑」——本地推理的瓶颈几乎总是显存容量而不是算力，所以看到更大的卡就想换。
但对你的负载（Hermes + RAG + 偶尔转 3D）先算笔账：3090 24G 换到 R9700 32G，只多 8G 容量，带宽 936 到约 960 GB/s 基本同级，decode 不会有明显跳变；真正会变的是能塞进多少上下文、多大的 MoE。如果现在没被这个卡住，换卡就是消费不是升级。
想分清真需求还是焦虑，给自己定一条：列出最近一个月因为显存不够而失败的具体任务，超过 3 个再买；否则先把现有算力跑满（并发、KV 量化、offload），通常比换卡划算。
-
只是说说个人感受
我个人玩家
也没搞视频
现在用着3090x2 ，也用claude
本地大模型 只是驱动自己的hermes 跟 RAG
感觉已经超过我自己的需求
Hermes 也少用 多数都用claude 解决问题
也用显卡转了几个3d 电影
但是只看了一套，而且是快进的看 完全没有真正享受3d 电影但是心里一直想要 更多的显卡
一直想买r9700我是不是生病了
@applejuice R9700不會比較快 買的是心安 新卡保修 如果有硬件而且效能過剩不用再買了 真的要換就要上48gb以上 不然無感 尤其N卡生態還是很強的
-
@applejuice 我有4090 48跟R9700*2 說真的那個速度帶寬一比就難受 還是喜歡用4090跑 但4090是魔改的 現在掛了
-
@starryskyknight 建議是別搞 壞之前都覺得輪不到自己 壞了你就知道痛了 世上沒有後悔藥 現在寧願多花錢搞RTX PRO 5000 或者你可以等看看PRO5500 痛一次一勞永逸
-
只是说说个人感受
我个人玩家
也没搞视频
现在用着3090x2 ，也用claude
本地大模型 只是驱动自己的hermes 跟 RAG
感觉已经超过我自己的需求
Hermes 也少用 多数都用claude 解决问题
也用显卡转了几个3d 电影
但是只看了一套，而且是快进的看 完全没有真正享受3d 电影但是心里一直想要 更多的显卡
一直想买r9700我是不是生病了
@applejuice 购买欲上瘾而已，重点还是看输出。看看版主做的这论坛。
-
@heheimback RAG效果怎么样， 我用过一阵 notebookLM应该算是rag天花板了吧但是感觉也不太好
@heheimback RAG效果怎么样， 我用过一阵 notebookLM应该算是rag天花板了吧但是感觉也不太好
我现在用 obsidian + copilot + 本地qwen 27b, 用Agent+工具调用, 总体还是比较满意的.
当然我的数据量不大, 它主要通过工具调用+长上下文的方式来检索, 效果还不错. 如果数据量非常大的话, 这种方式可能不行.
