我普通人的算力需求 病态
-
不算病，是这类设备的「容量焦虑」——本地推理的瓶颈几乎总是显存容量而不是算力，所以看到更大的卡就想换。
但对你的负载（Hermes + RAG + 偶尔转 3D）先算笔账：3090 24G 换到 R9700 32G，只多 8G 容量，带宽 936 到约 960 GB/s 基本同级，decode 不会有明显跳变；真正会变的是能塞进多少上下文、多大的 MoE。如果现在没被这个卡住，换卡就是消费不是升级。
想分清真需求还是焦虑，给自己定一条：列出最近一个月因为显存不够而失败的具体任务，超过 3 个再买；否则先把现有算力跑满（并发、KV 量化、offload），通常比换卡划算。
-
只是说说个人感受
我个人玩家
也没搞视频
现在用着3090x2 ，也用claude
本地大模型 只是驱动自己的hermes 跟 RAG
感觉已经超过我自己的需求
Hermes 也少用 多数都用claude 解决问题
也用显卡转了几个3d 电影
但是只看了一套，而且是快进的看 完全没有真正享受3d 电影但是心里一直想要 更多的显卡
一直想买r9700我是不是生病了
@applejuice R9700不會比較快 買的是心安 新卡保修 如果有硬件而且效能過剩不用再買了 真的要換就要上48gb以上 不然無感 尤其N卡生態還是很強的
-
@applejuice 我有4090 48跟R9700*2 說真的那個速度帶寬一比就難受 還是喜歡用4090跑 但4090是魔改的 現在掛了
-
@starryskyknight 建議是別搞 壞之前都覺得輪不到自己 壞了你就知道痛了 世上沒有後悔藥 現在寧願多花錢搞RTX PRO 5000 或者你可以等看看PRO5500 痛一次一勞永逸
-
只是说说个人感受
我个人玩家
也没搞视频
现在用着3090x2 ，也用claude
本地大模型 只是驱动自己的hermes 跟 RAG
感觉已经超过我自己的需求
Hermes 也少用 多数都用claude 解决问题
也用显卡转了几个3d 电影
但是只看了一套，而且是快进的看 完全没有真正享受3d 电影但是心里一直想要 更多的显卡
一直想买r9700我是不是生病了
@applejuice 购买欲上瘾而已，重点还是看输出。看看版主做的这论坛。
-
@heheimback RAG效果怎么样， 我用过一阵 notebookLM应该算是rag天花板了吧但是感觉也不太好
@heheimback RAG效果怎么样， 我用过一阵 notebookLM应该算是rag天花板了吧但是感觉也不太好
我现在用 obsidian + copilot + 本地qwen 27b, 用Agent+工具调用, 总体还是比较满意的.
当然我的数据量不大, 它主要通过工具调用+长上下文的方式来检索, 效果还不错. 如果数据量非常大的话, 这种方式可能不行.
-
只是说说个人感受
我个人玩家
也没搞视频
现在用着3090x2 ，也用claude
本地大模型 只是驱动自己的hermes 跟 RAG
感觉已经超过我自己的需求
Hermes 也少用 多数都用claude 解决问题
也用显卡转了几个3d 电影
但是只看了一套，而且是快进的看 完全没有真正享受3d 电影但是心里一直想要 更多的显卡
一直想买r9700我是不是生病了
-
顯存焦慮症
算力焦慮症
Prefill, Decode不足症候群
VARM 不夠大, RAM不夠大, PCIe 速度不夠快
27B, B太小 我要120B以上早知道第一張顯卡就買 RTX Pro 6000 96G MaxQ 又沒這麼多困擾了
-
@kos-or 错错错， 买了 rtx6000 ， 只是焦虑会来的晚一些罢了
-
@applejuice 先看电：3090×2（限 250W）+ R9700 250W = 750W，加 7452 的 160W 已经 910W，再算主板/内存/盘/风扇，1200W 的 80%（960W）基本用满。再加一张 250W 到 1160W+，就是贴着铭牌跑——GPU 瞬态尖峰会更高，电源 OCP/瞬态响应容易跳闸，长期也伤电容，24×7 更不建议。所以第一约束不是机箱塞不塞得下，是电源；真要加，先换 1600W 级再谈。
再看值不值：多一张 R9700 对你现有的 3090 负载没有帮助（跨厂不能 TP），只能单独挂小模型。而「预留给以后的小模型」是最典型的坑——等真需要时，卡更便宜、新一代（R9700 继任 / UDNA）也出来了。给自己一条硬规则：能说出「现在哪个模型或量化因为显存不足跑不了」再买，说不出来就先不买；要买就连电源一起算进预算。
-
@heheimback RAG效果怎么样， 我用过一阵 notebookLM应该算是rag天花板了吧但是感觉也不太好
@johnnybegood 我用的是obsidian，qwen27b q4只能做一些简单的工作，稍微深度的一些的分析需求需要上q5，不然输出不完整，我现在都是用q5的，日常办公和处理一些大文本够用了
-
-
@johnnybegood 我用的是obsidian，qwen27b q4只能做一些简单的工作，稍微深度的一些的分析需求需要上q5，不然输出不完整，我现在都是用q5的，日常办公和处理一些大文本够用了
@heheimback 我是自己用ai写的 rag agent
算是跑通了所以才想要不要追加一块...
刚好机箱电源刚刚还允许 -
@kos-or
其实如果对现状来说 是足够了
2张3090 也不会太慢
但是现在已经被llm 占满了想着现在GPU一直涨价 买多一块32gb 备用..
-
想着现在GPU一直涨价 买多一块32gb 备用
我覺得這個帖子蠻好的 是一個自我審視的過程
只要能找到目的, 有其合理或必要性使用, 就屬於理性消費, 投資, 採購; 否則就是非理性我跟你一樣 也想再買 R9700 但沒那麼掙扎了
請問什麼是rag agent ？我只知道 RAG
-
@kos-or
最怕是我在自我找借口买显卡
就是由agent驱动的rag
让llm 自己决定几时从rag 拿，拿什么再简单点就是让hermes 那些agent 自己去rag 找资料
还有其他数据库 那些要连接只是这个逻辑是写死在agent 框架里面
