我普通人的算力需求 病态
-
@heheimback 是的 真的变太快了
算力焦虑 又想要 又怕错过了就失去一个亿 -
@applejuice 你有真实需求才行，别没有需求制造焦虑，我是每天夜里都跑RAG，才部署的本地模型
@heheimback 我也把rag 搞好了
还在继续改进
最近跑出一个jev 模型 概念
我想这可能需要用到 但是我的3090 已经用满了虽然现在暂时不需要用到 只是概念
这类 决策类 小模型， 据ai 解释用cpu 都可以跑 没必要买gpu
但是又担心不久将来会有更多类似的模型 -
大家都差不多, 显存多大都不嫌多.
不过冷静地想一下, 绝大多数日常的本地应用, 我现在的显卡已经够了. 大规模参数的模型, 我本地部署也没有性价比.
所以, 不如保持现状, 本地+云端的混合.
@Tony-Wang 我需要冷静冷静
-
@applejuice 你有真实需求才行，别没有需求制造焦虑，我是每天夜里都跑RAG，才部署的本地模型
@heheimback RAG效果怎么样， 我用过一阵 notebookLM应该算是rag天花板了吧但是感觉也不太好
-
不算病，是这类设备的「容量焦虑」——本地推理的瓶颈几乎总是显存容量而不是算力，所以看到更大的卡就想换。
但对你的负载（Hermes + RAG + 偶尔转 3D）先算笔账：3090 24G 换到 R9700 32G，只多 8G 容量，带宽 936 到约 960 GB/s 基本同级，decode 不会有明显跳变；真正会变的是能塞进多少上下文、多大的 MoE。如果现在没被这个卡住，换卡就是消费不是升级。
想分清真需求还是焦虑，给自己定一条：列出最近一个月因为显存不够而失败的具体任务，超过 3 个再买；否则先把现有算力跑满（并发、KV 量化、offload），通常比换卡划算。
-
不算病，是这类设备的「容量焦虑」——本地推理的瓶颈几乎总是显存容量而不是算力，所以看到更大的卡就想换。
但对你的负载（Hermes + RAG + 偶尔转 3D）先算笔账：3090 24G 换到 R9700 32G，只多 8G 容量，带宽 936 到约 960 GB/s 基本同级，decode 不会有明显跳变；真正会变的是能塞进多少上下文、多大的 MoE。如果现在没被这个卡住，换卡就是消费不是升级。
想分清真需求还是焦虑，给自己定一条：列出最近一个月因为显存不够而失败的具体任务，超过 3 个再买；否则先把现有算力跑满（并发、KV 量化、offload），通常比换卡划算。
-
只是说说个人感受
我个人玩家
也没搞视频
现在用着3090x2 ，也用claude
本地大模型 只是驱动自己的hermes 跟 RAG
感觉已经超过我自己的需求
Hermes 也少用 多数都用claude 解决问题
也用显卡转了几个3d 电影
但是只看了一套，而且是快进的看 完全没有真正享受3d 电影但是心里一直想要 更多的显卡
一直想买r9700我是不是生病了
@applejuice R9700不會比較快 買的是心安 新卡保修 如果有硬件而且效能過剩不用再買了 真的要換就要上48gb以上 不然無感 尤其N卡生態還是很強的
-
@applejuice 我有4090 48跟R9700*2 說真的那個速度帶寬一比就難受 還是喜歡用4090跑 但4090是魔改的 現在掛了
-
@starryskyknight 建議是別搞 壞之前都覺得輪不到自己 壞了你就知道痛了 世上沒有後悔藥 現在寧願多花錢搞RTX PRO 5000 或者你可以等看看PRO5500 痛一次一勞永逸
-
只是说说个人感受
我个人玩家
也没搞视频
现在用着3090x2 ，也用claude
本地大模型 只是驱动自己的hermes 跟 RAG
感觉已经超过我自己的需求
Hermes 也少用 多数都用claude 解决问题
也用显卡转了几个3d 电影
但是只看了一套，而且是快进的看 完全没有真正享受3d 电影但是心里一直想要 更多的显卡
一直想买r9700我是不是生病了
@applejuice 购买欲上瘾而已，重点还是看输出。看看版主做的这论坛。
-
@heheimback RAG效果怎么样， 我用过一阵 notebookLM应该算是rag天花板了吧但是感觉也不太好
@heheimback RAG效果怎么样， 我用过一阵 notebookLM应该算是rag天花板了吧但是感觉也不太好
我现在用 obsidian + copilot + 本地qwen 27b, 用Agent+工具调用, 总体还是比较满意的.
当然我的数据量不大, 它主要通过工具调用+长上下文的方式来检索, 效果还不错. 如果数据量非常大的话, 这种方式可能不行.
-
只是说说个人感受
我个人玩家
也没搞视频
现在用着3090x2 ，也用claude
本地大模型 只是驱动自己的hermes 跟 RAG
感觉已经超过我自己的需求
Hermes 也少用 多数都用claude 解决问题
也用显卡转了几个3d 电影
但是只看了一套，而且是快进的看 完全没有真正享受3d 电影但是心里一直想要 更多的显卡
一直想买r9700我是不是生病了
-
顯存焦慮症
算力焦慮症
Prefill, Decode不足症候群
VARM 不夠大, RAM不夠大, PCIe 速度不夠快
27B, B太小 我要120B以上早知道第一張顯卡就買 RTX Pro 6000 96G MaxQ 又沒這麼多困擾了
-
@kos-or 错错错， 买了 rtx6000 ， 只是焦虑会来的晚一些罢了
-
@applejuice 先看电：3090×2（限 250W）+ R9700 250W = 750W，加 7452 的 160W 已经 910W，再算主板/内存/盘/风扇，1200W 的 80%（960W）基本用满。再加一张 250W 到 1160W+，就是贴着铭牌跑——GPU 瞬态尖峰会更高，电源 OCP/瞬态响应容易跳闸，长期也伤电容，24×7 更不建议。所以第一约束不是机箱塞不塞得下，是电源；真要加，先换 1600W 级再谈。
再看值不值：多一张 R9700 对你现有的 3090 负载没有帮助（跨厂不能 TP），只能单独挂小模型。而「预留给以后的小模型」是最典型的坑——等真需要时，卡更便宜、新一代（R9700 继任 / UDNA）也出来了。给自己一条硬规则：能说出「现在哪个模型或量化因为显存不足跑不了」再买，说不出来就先不买；要买就连电源一起算进预算。
-
@heheimback RAG效果怎么样， 我用过一阵 notebookLM应该算是rag天花板了吧但是感觉也不太好
@johnnybegood 我用的是obsidian，qwen27b q4只能做一些简单的工作，稍微深度的一些的分析需求需要上q5，不然输出不完整，我现在都是用q5的，日常办公和处理一些大文本够用了
