用3090如果只跑llm, 平均一个月用多少kwh 的电?好像比订阅的费用还要贵

[terry]

@applejuice 不是涡轮版，只要不是中国大陆的货，你们当地的可以买，中国一定要涡轮版是因为中国的卡都是矿渣。

[pilipala]

@applejuice 我和你一样，也是想本地+云端llm协同，最大的问题就是会话上下文共享，云端便宜且上下文窗口大可以直接把本地的上下文都注入提示词，就是需要做一个智能路由的网关，我本来想自己搞一个分支，但是想想社区更新那么快，自己搞完后续还要持续维护兼容社区新的release，而且可能后面新版本会带类似的功能，想想就算了。

[applejuice]

@terry 双3090 不用涡轮 另一张卡不就吸入热空气吗？

[terry]

@applejuice 买个平放的镂空机箱，或者直接镂空机架，总之就地取材，无非就是散热的问题，不要过度纠结，总有解决方案。因地制宜。

[pilipala]

@terry 特哥的原则就是，先跑起来，等赚到钱了想升级啥就升级啥

[applejuice]

我也不拿来赚钱 主要拿来学习 如果可以帮助工作更好

[applejuice]

@pilipala 既然你有机器 就搞搞呗

[mark]

@mankit-fu 别纠结了, 先动手做起来, 好多人折腾硬件,最后 硬件买全了. 结果活没干.钱百花了.

[mankit fu]

我看看现在 7900xtx 蓝宝石在京东买大概 5900 元，是不是已经比原来的贵了？
7900xtx 会比起 3090 用电少一点吗？
现在要买京东自营的话 3090 大概要八千块。
如果暂时不太需要画图的话，是不是买 7900xtx 更划算？
而且 7900xtx 我看了大哥说也没到不能用 ComfyUI，只是有些特定工作流不行。
現在是不是7900xtx 更好

[pilipala]

@applejuice 好，明天白天上班有时间就抽空搞，回头来给大家汇报测试结果。

[terry]

@mankit-fu 便宜了啊，我春节时候6100买的。AMD的卡没人炒的，买到手你得会用....

[Tide]

给你当个参考，我的x99 3080待机70W左右。目前普通用的时候按照论坛大佬的方法sudo nvidia-smi -pl 200设置显卡最大功率200W。温度下来了。

[applejuice]

这位大哥 跟我的处境很想
坐等大神回复
现在对我来说，如果只搞本地模型 不搞视频， 不比较2手3090
我觉得性价比amd 最好， 最安全 有保修 但是需要折腾.
27b dense Q4 模型 ,64k 上下文context.
如果在搞个gateway 把难度大的 分给云模型，私密资料先本地过滤

当然我最想要是4090 48gb 但是财力有限
我是不是应该先把X99 先买回来

[im17me]

按350w算，大概一天5度电左右

[怪叔叔]

@davidwei0826 其实还有一个场景也比较多。就是断互联网情况下。

[terry]

@mankit-fu 我还真没考虑过大陆地区之外电费那么贵，大陆电费就几毛钱一度，夜间很便宜。但是如果干活，电费确实不值一提，香港地区你买什么3080？在香港要饭一个月也有一万港币吧，你买3080 3090和洋垃圾干嘛？R9700 RTXPro4500买起来，xtx也够用了。50w不可能。买新的CPU能接近，香港房子普遍狭小，你不要省钱了，弄新平台就是了。

[applejuice]

@terry 求解释 新平台ddr5比较好吗？

[applejuice]

据ai 了解
用新平台的钱够付很多年的电费了 5年都回不了本

[williamlouis]

@mankit-fu 软路由里装个 Hermes 管理你的AI服务器。远程开机。AI服务器做个线程限制。没工作流休眠然后关机（不要直接关机，一定要休眠后关机）。这样你的功耗就降下来了。软路由 对CPU没什么要求。内存最好1G 存储8G够用了。能做很多项目。不建议docker 方案。我做过。很闹心。需要的项目都直接安装。稳定性nice。

[tomcatzh]

@怪叔叔 为啥会有这个场景，荒岛求生吗？