我普通人的算力需求 病态

[applejuice]

@kos-or
其实如果对现状来说 是足够了
2张3090 也不会太慢
但是现在已经被llm 占满了

想着现在GPU一直涨价 买多一块32gb 备用..

[applejuice]

@heheimback 我是自己用ai写的 rag agent
算是跑通了

所以才想要不要追加一块...
刚好机箱电源刚刚还允许

[kos or]

@applejuice said:

想着现在GPU一直涨价 买多一块32gb 备用

我覺得這個帖子蠻好的 是一個自我審視的過程
只要能找到目的, 有其合理或必要性使用, 就屬於理性消費, 投資, 採購; 否則就是非理性

我跟你一樣 也想再買 R9700 但沒那麼掙扎了

請問什麼是rag agent ？我只知道 RAG

[applejuice]

@kos-or
最怕是我在自我找借口买显卡

就是由agent驱动的rag
让llm 自己决定几时从rag 拿，拿什么

再简单点就是让hermes 那些agent 自己去rag 找资料
还有其他数据库 那些要连接

只是这个逻辑是写死在agent 框架里面

[kos or]

@applejuice said:

最怕是我在自我找借口买显卡

就是由agent驱动的rag
让llm 自己决定几时从rag 拿，拿什么

要不然這麼做好了, 你這幾個禮拜內開發一個專案
具有商業化可行性或潛力, 先用 3090x2 + claude 做出一個MVP雛形產品
這產品未來可以用R9700每日驅動和管理, 那你將能找到目的了 , 這樣好不 ？

先構思和做產品, 等你的好消息

[applejuice]

@kos-or 这个我就不行了
产品这东西 也要有人买 要推销才行

[heheimback]

@applejuice 你自己怎么写的RAG，我用的是linux系统，就让llm用grep查询就可以了，claude code就是这么做的，我就是设计了一下怎么组织知识

[applejuice]

@heheimback 这样也是可以
可是有些逻辑 需要有数据库

也不一定适合其他人
这个纯属给我自己用

agent 用的是langgraph 写
老实说我一行都不会看

[heheimback]

@applejuice 说实话，这个ai就像游戏一样，很容易沉迷，我八月份天天2点左右睡，早上起来上班，现在已经过了这个劲了

[applejuice]

@heheimback 的确可以用来决解一些以前需要花大精力来解决的问题

但是这些都是用云ai
本地都不用

[heheimback]

@applejuice 本地ai也不错的，我现在就是用本地AI做大本文处理，然后我后面还会部署laya，用于批处理文本，打上标签，算力上来后，能做的事情挺多的，要是laya后面支持多模态就更好了，我图表的分析就更方便了

[iamvirus]

3090 是对标7900xtx 的，因为他们算力上限和支持的精度都在同一个层次上。目前双r9700 功耗和速度都远远好于它们的，并发量一上来prefill就很重要了。完成任务就明显多了，我这个是我个人感受！假如后续还想体验那种更多的agent并发干活的场景，就还得升级算力和模型。

[williamlouis]

同品你已经有了。上一个生态低于当前品质显卡的同档次卡，只是能让你折腾一下。没什么意义。
如果是算力不足。可以考虑出售现有卡片后。升级R9700.
但是 核对现在的市场价格。这次升级的意义不大。

[applejuice]

@williamlouis 打算加一张卡，也不是打算代替
当然如果用到爽换掉3090 也不是不可以

最近在这里看到2手 r9700 大概12000+ 人民币
那个人应该再11000 左右入手的

我猜是用了不顺手所以出掉

[williamlouis]

R9700 不会比 3090快。唯一优势 显存大了。
双卡速度也低于 双3090.
生态环境也不如3090
再有就是有保修。comfy 也不如3090双卡。

[lesslin xiu]

看你的应用需求。现在价格好，3090 全部卖掉。换张R9700先用个一两年，后面针对性的硬件补上来在买其他，现在是AI的战国时代，后面的事情谁知道。

[Xiaote]

本帖参与讨论人数已达 15+，入选热议，作者 +3 积分奖励，感谢分享！

奖励凭证：热议 +3 分 · 编号 h1910-121-1（系统自动发放，只发一次）