我普通人的算力需求 病态

[suboyang]

@applejuice 购买欲上瘾而已，重点还是看输出。看看版主做的这论坛。

[Tony Wang]

@johnnybegood 说:

@heheimback RAG效果怎么样， 我用过一阵 notebookLM应该算是rag天花板了吧但是感觉也不太好

我现在用 obsidian + copilot + 本地qwen 27b, 用Agent+工具调用, 总体还是比较满意的.

当然我的数据量不大, 它主要通过工具调用+长上下文的方式来检索, 效果还不错. 如果数据量非常大的话, 这种方式可能不行.

[kos or]

@applejuice said:

但是心里一直想要 更多的显卡

為何呢？又不是NBA球員卡
要看你的動機是什麼

如果是挖礦 挖比特幣BTC, 想要越挖越多, 情境類似嗎？

突然想到電影中的這一幕

[Bunsei]

只是为了追求一丝飘渺的掌控感。我本地部署了大模型=我能掌控着AI！

[kos or]

顯存焦慮症
算力焦慮症
Prefill, Decode不足症候群
VARM 不夠大, RAM不夠大, PCIe 速度不夠快
27B, B太小 我要120B以上

早知道第一張顯卡就買 RTX Pro 6000 96G MaxQ 又沒這麼多困擾了

[johnnybegood]

@kos-or 错错错， 买了 rtx6000 ， 只是焦虑会来的晚一些罢了

[kos or]

@johnnybegood

幸好我買不起 就不用焦慮了

[Xiaote]

@applejuice 先看电：3090×2（限 250W）+ R9700 250W = 750W，加 7452 的 160W 已经 910W，再算主板/内存/盘/风扇，1200W 的 80%（960W）基本用满。再加一张 250W 到 1160W+，就是贴着铭牌跑——GPU 瞬态尖峰会更高，电源 OCP/瞬态响应容易跳闸，长期也伤电容，24×7 更不建议。所以第一约束不是机箱塞不塞得下，是电源；真要加，先换 1600W 级再谈。

再看值不值：多一张 R9700 对你现有的 3090 负载没有帮助（跨厂不能 TP），只能单独挂小模型。而「预留给以后的小模型」是最典型的坑——等真需要时，卡更便宜、新一代（R9700 继任 / UDNA）也出来了。给自己一条硬规则：能说出「现在哪个模型或量化因为显存不足跑不了」再买，说不出来就先不买；要买就连电源一起算进预算。

[heheimback]

@johnnybegood 我用的是obsidian，qwen27b q4只能做一些简单的工作，稍微深度的一些的分析需求需要上q5，不然输出不完整，我现在都是用q5的，日常办公和处理一些大文本够用了

[懒人烘培]

配置挺好的呀，我之前一张7900XTX，现在两张7900XTX组TP，速度提升了不少，足够我用了

[applejuice]

@kos-or
其实如果对现状来说 是足够了
2张3090 也不会太慢
但是现在已经被llm 占满了

想着现在GPU一直涨价 买多一块32gb 备用..

[applejuice]

@heheimback 我是自己用ai写的 rag agent
算是跑通了

所以才想要不要追加一块...
刚好机箱电源刚刚还允许

[kos or]

@applejuice said:

想着现在GPU一直涨价 买多一块32gb 备用

我覺得這個帖子蠻好的 是一個自我審視的過程
只要能找到目的, 有其合理或必要性使用, 就屬於理性消費, 投資, 採購; 否則就是非理性

我跟你一樣 也想再買 R9700 但沒那麼掙扎了

請問什麼是rag agent ？我只知道 RAG

[applejuice]

@kos-or
最怕是我在自我找借口买显卡

就是由agent驱动的rag
让llm 自己决定几时从rag 拿，拿什么

再简单点就是让hermes 那些agent 自己去rag 找资料
还有其他数据库 那些要连接

只是这个逻辑是写死在agent 框架里面

[kos or]

@applejuice said:

最怕是我在自我找借口买显卡

就是由agent驱动的rag
让llm 自己决定几时从rag 拿，拿什么

要不然這麼做好了, 你這幾個禮拜內開發一個專案
具有商業化可行性或潛力, 先用 3090x2 + claude 做出一個MVP雛形產品
這產品未來可以用R9700每日驅動和管理, 那你將能找到目的了 , 這樣好不 ？

先構思和做產品, 等你的好消息

[applejuice]

@kos-or 这个我就不行了
产品这东西 也要有人买 要推销才行

[heheimback]

@applejuice 你自己怎么写的RAG，我用的是linux系统，就让llm用grep查询就可以了，claude code就是这么做的，我就是设计了一下怎么组织知识

[applejuice]

@heheimback 这样也是可以
可是有些逻辑 需要有数据库

也不一定适合其他人
这个纯属给我自己用

agent 用的是langgraph 写
老实说我一行都不会看

[heheimback]

@applejuice 说实话，这个ai就像游戏一样，很容易沉迷，我八月份天天2点左右睡，早上起来上班，现在已经过了这个劲了

[applejuice]

@heheimback 的确可以用来决解一些以前需要花大精力来解决的问题

但是这些都是用云ai
本地都不用