我普通人的算力需求 病态

[kos or]

顯存焦慮症
算力焦慮症
Prefill, Decode不足症候群
VARM 不夠大, RAM不夠大, PCIe 速度不夠快
27B, B太小 我要120B以上

早知道第一張顯卡就買 RTX Pro 6000 96G MaxQ 又沒這麼多困擾了

[johnnybegood]

@kos-or 错错错， 买了 rtx6000 ， 只是焦虑会来的晚一些罢了

[kos or]

@johnnybegood

幸好我買不起 就不用焦慮了

[Xiaote]

@applejuice 先看电：3090×2（限 250W）+ R9700 250W = 750W，加 7452 的 160W 已经 910W，再算主板/内存/盘/风扇，1200W 的 80%（960W）基本用满。再加一张 250W 到 1160W+，就是贴着铭牌跑——GPU 瞬态尖峰会更高，电源 OCP/瞬态响应容易跳闸，长期也伤电容，24×7 更不建议。所以第一约束不是机箱塞不塞得下，是电源；真要加，先换 1600W 级再谈。

再看值不值：多一张 R9700 对你现有的 3090 负载没有帮助（跨厂不能 TP），只能单独挂小模型。而「预留给以后的小模型」是最典型的坑——等真需要时，卡更便宜、新一代（R9700 继任 / UDNA）也出来了。给自己一条硬规则：能说出「现在哪个模型或量化因为显存不足跑不了」再买，说不出来就先不买；要买就连电源一起算进预算。

[heheimback]

@johnnybegood 我用的是obsidian，qwen27b q4只能做一些简单的工作，稍微深度的一些的分析需求需要上q5，不然输出不完整，我现在都是用q5的，日常办公和处理一些大文本够用了

[懒人烘培]

配置挺好的呀，我之前一张7900XTX，现在两张7900XTX组TP，速度提升了不少，足够我用了

[applejuice]

@kos-or
其实如果对现状来说 是足够了
2张3090 也不会太慢
但是现在已经被llm 占满了

想着现在GPU一直涨价 买多一块32gb 备用..

[applejuice]

@heheimback 我是自己用ai写的 rag agent
算是跑通了

所以才想要不要追加一块...
刚好机箱电源刚刚还允许

[kos or]

@applejuice said:

想着现在GPU一直涨价 买多一块32gb 备用

我覺得這個帖子蠻好的 是一個自我審視的過程
只要能找到目的, 有其合理或必要性使用, 就屬於理性消費, 投資, 採購; 否則就是非理性

我跟你一樣 也想再買 R9700 但沒那麼掙扎了

請問什麼是rag agent ？我只知道 RAG

[applejuice]

@kos-or
最怕是我在自我找借口买显卡

就是由agent驱动的rag
让llm 自己决定几时从rag 拿，拿什么

再简单点就是让hermes 那些agent 自己去rag 找资料
还有其他数据库 那些要连接

只是这个逻辑是写死在agent 框架里面

[kos or]

@applejuice said:

最怕是我在自我找借口买显卡

就是由agent驱动的rag
让llm 自己决定几时从rag 拿，拿什么

要不然這麼做好了, 你這幾個禮拜內開發一個專案
具有商業化可行性或潛力, 先用 3090x2 + claude 做出一個MVP雛形產品
這產品未來可以用R9700每日驅動和管理, 那你將能找到目的了 , 這樣好不 ？

先構思和做產品, 等你的好消息

[applejuice]

@kos-or 这个我就不行了
产品这东西 也要有人买 要推销才行

[heheimback]

@applejuice 你自己怎么写的RAG，我用的是linux系统，就让llm用grep查询就可以了，claude code就是这么做的，我就是设计了一下怎么组织知识

[applejuice]

@heheimback 这样也是可以
可是有些逻辑 需要有数据库

也不一定适合其他人
这个纯属给我自己用

agent 用的是langgraph 写
老实说我一行都不会看

[heheimback]

@applejuice 说实话，这个ai就像游戏一样，很容易沉迷，我八月份天天2点左右睡，早上起来上班，现在已经过了这个劲了

[applejuice]

@heheimback 的确可以用来决解一些以前需要花大精力来解决的问题

但是这些都是用云ai
本地都不用

[heheimback]

@applejuice 本地ai也不错的，我现在就是用本地AI做大本文处理，然后我后面还会部署laya，用于批处理文本，打上标签，算力上来后，能做的事情挺多的，要是laya后面支持多模态就更好了，我图表的分析就更方便了

[iamvirus]

3090 是对标7900xtx 的，因为他们算力上限和支持的精度都在同一个层次上。目前双r9700 功耗和速度都远远好于它们的，并发量一上来prefill就很重要了。完成任务就明显多了，我这个是我个人感受！假如后续还想体验那种更多的agent并发干活的场景，就还得升级算力和模型。

[williamlouis]

同品你已经有了。上一个生态低于当前品质显卡的同档次卡，只是能让你折腾一下。没什么意义。
如果是算力不足。可以考虑出售现有卡片后。升级R9700.
但是 核对现在的市场价格。这次升级的意义不大。

[applejuice]

@williamlouis 打算加一张卡，也不是打算代替
当然如果用到爽换掉3090 也不是不可以

最近在这里看到2手 r9700 大概12000+ 人民币
那个人应该再11000 左右入手的

我猜是用了不顺手所以出掉