本地AI硬件焦虑个锤子！看看好消息吧

[fcme]

@kos-or
是啊，所以说现在不要着急入硬件。

[fcme]

@rock-shi
什么框架？

[Tzung-Ru Tsai]

@rock-shi
沒記錯的話是KV-resident這個參數，可以把大部分的KV cache塞到RAM裡去，多擠一些VRAM出來放專家權重。

[fcme]

@Tzung-Ru-Tsai
哦，那个我也试了一下，貌似默认的32开就挺好

[terry]

合理想象，人总要有点希望，才有动力继续折腾。

[fcme]

@terry
想象一下就是明年5070ti的能顺跑GLM6 flash级别的模型就够了

[rock shi]

@fcme 对，32k放显存，其余的放内存，pcie搬运。个人体验速度几乎没啥影响，似乎还快了一点。显存压力啥的小了很多

[Lei Gao]

为什么这些框架都是老外的？ 有咱们自己的吗？

[David Chen]

從2022 2023 gpt出世
考慮智能，所需記憶容量
基本上每年是以十倍的速度增加
也就是這三年
我們已經改善1000倍了

[懒人烘培]

感觉可以，慢慢好好起来了

[Xiaote]

本帖参与讨论人数已达 10+，入选热议，作者 +3 积分奖励，感谢分享！

奖励凭证：热议 +3 分 · 编号 h2524-1686-1（系统自动发放，显示稍有延迟）

[Tzung-Ru Tsai]

此主題已被删除！

[johnnybegood]

@stxpnet 确实， 当年考虑过， 不过那个时候是单卡路线， 而且也是考虑cuda环境， 所以从 3090 开始入门， 现在看 R9700越来越接近神卡了。

[fcme]

@Lei-Gao
vLLM就是华人弄的，SGlang其实也差不多，AI领域华人无处不在的。这个Strata是个欧洲小伙。

[fcme]

@David-Chen
是啊，这种性能越来越强，硬件需求越来越低，最后agi的趋势不变的。

[fcme]

@懒人烘培
是的，必须的

[Lei Gao]

@fcme 迟早会有吧，关键CUDA哪些年基础没没积累。

[shawn shen]

@stxpnet 已经果断上车双R9700了，刚买完发现又涨了2000

[jenaflex]

其实现在AI还是有短期泡沫破裂的风险，但问题不在于网上常说的AI能不能变现、能不能提高生产力。长期来看，AI带来生产力革命基本是确定的）。

而是眼下整个产业链的建设有些脱节：大量N卡已经生产出来在仓库，却还在等数据中心建好。老黄还是太贪心了。
像CoreWeave这种靠大量借钱造数据中心的公司，长债收益率一度达到16%。一旦投资者信心变弱，后续融资就可能出问题，甚至资金链断裂。“高利贷”已经借了，数据中心却还没建完，真在这时候爆雷，债权人手里可能只剩一堆难以变现的废铁。
那时候真的就有大船卡了，但上下游产业链也会完蛋，经济也继续下行，大家一起勒紧裤腰带。
出处：Moore's Law Is Dead
Youtube Video

[johnnybegood]

你不买， 我不买， 明天还能降两百