始终还是忍不住，省钱就是花钱的开始 3090x2 + r9700

[applejuice]

一开始买看ai硬件大概是在5月
那时候4090 48gb 2.3万

为了省钱买了3090x2 双路x99
但是花了nvlink 1000元
结果nvlink 用不到发现 换了 供电 这个那个
后面 发现应该显卡问题用不到nvlink
为了搞p2p 忍痛换过主板 h12d-8d + epyc7452
前前后后大概花了2万5
这时候如果一开始买洋垃圾+4090 也只是这个价钱

过后总算在sglang 下可以用的顺了 250 decode , 3000 prefill
突然间冒出单卡 r9700 已经超过 3000 prefill
心里开始痒痒 刚好2手有人卖2-3个月的卡 换算大概1万2元
终于这个星期忍不住了 下手了

现在换算过来早就可以买4090 48gb 了
5090 也不是问题
感觉自己有点笨

现在打算3090 跑strata 驱动hermes, r9700 跑vllm 27b 驱动自己的rag
如果以后有其他用途再看怎样打算
有没有机会把r9700 在15000高位卖出呢

[starryskyknight]

NVLINK 用不了真的很可惜 我也是走這個路線 但我一開始就是買二手玩家卡 現在 算一算也早就能買 5090 或是 4090 48gb 但加了NVLINK 也不輸 就不想出售 另外組一台大顯存機器了

[applejuice]

@starryskyknight 我没地方放机器了

如果用的顺最多应该加多一块r9700

[starryskyknight]

@applejuice 如果我是你的狀態 無法用 NVLINK 又沒辦法放更多機器 我可能會考慮出售 3090 換 r9700 兩張或是 上4090 48G 和 5090

[applejuice]

@starryskyknight
3090 留着还有用
我想微调下小模型给我自己特别需求用

4090 48gb 现在看来不考虑 因为我在国外 感觉出事的几率太高了
5090 我现在这里的价钱都 5万了

[starryskyknight]

@applejuice said:

4090 48gb 现在看来不考虑 因为我在国外 感觉出事的几率太高了
5090 我现在这里的价钱都 5万了

你跟我的狀況真的很像 我也是在國外 真的很可惜你的 NVLINK不能用 不然其實不輸那兩張

[applejuice]

@starryskyknight 其实到后面发现nvlink 没差太多 好像只有10-20% prefill

[starryskyknight]

@applejuice 那真是太好了 我一直都有用 所以不知道沒有的感受

[rori]

@applejuice
是什麼CPU散熱器?
散熱比一般的好嗎?

[applejuice]

@rori 金钱豹， 好不好我不懂 因为我也用过一个罢了 肯定比较吵