本地AI硬件焦虑个锤子！看看好消息吧

[stxpnet]

刚搜了一下paiton. 你们这R9700 也吃得太好了吧。。。。 羡慕嫉妒+后悔。

[kos or]

Paiton 這麼香喔 哇～～～ @@

現在一堆大神推出新的推論引擎 競爭激烈

QFN 可以開1M上下文,
測過開512K ctx, 480K tokens prompt 丟進去可以找到needles 大海撈針 撈得到

[rock shi]

我也是昨天开了256k上下文，好像是有一个什么流式kv，省出来的显存还又给了专家

[fcme]

@stxpnet
对啊，所以我大概是7月份2170刀(澳元)左右买的，现在看这边已经涨到了2700左右了，NND。
按这个速度下去，我感觉这个卡的生态地位要爆发了。毕竟新卡里能买到32g的，也没有其他选项了。

[fcme]

@kos-or
是啊，所以说现在不要着急入硬件。

[fcme]

@rock-shi
什么框架？

[Tzung-Ru Tsai]

@rock-shi
沒記錯的話是KV-resident這個參數，可以把大部分的KV cache塞到RAM裡去，多擠一些VRAM出來放專家權重。

[fcme]

@Tzung-Ru-Tsai
哦，那个我也试了一下，貌似默认的32开就挺好

[terry]

合理想象，人总要有点希望，才有动力继续折腾。

[fcme]

@terry
想象一下就是明年5070ti的能顺跑GLM6 flash级别的模型就够了

[rock shi]

@fcme 对，32k放显存，其余的放内存，pcie搬运。个人体验速度几乎没啥影响，似乎还快了一点。显存压力啥的小了很多

[Lei Gao]

为什么这些框架都是老外的？ 有咱们自己的吗？

[David Chen]

從2022 2023 gpt出世
考慮智能，所需記憶容量
基本上每年是以十倍的速度增加
也就是這三年
我們已經改善1000倍了

[懒人烘培]

感觉可以，慢慢好好起来了

[Xiaote]

本帖参与讨论人数已达 10+，入选热议，作者 +3 积分奖励，感谢分享！

奖励凭证：热议 +3 分 · 编号 h2524-1686-1（系统自动发放，显示稍有延迟）

[Tzung-Ru Tsai]

此主題已被删除！

[johnnybegood]

@stxpnet 确实， 当年考虑过， 不过那个时候是单卡路线， 而且也是考虑cuda环境， 所以从 3090 开始入门， 现在看 R9700越来越接近神卡了。

[fcme]

@Lei-Gao
vLLM就是华人弄的，SGlang其实也差不多，AI领域华人无处不在的。这个Strata是个欧洲小伙。

[fcme]

@David-Chen
是啊，这种性能越来越强，硬件需求越来越低，最后agi的趋势不变的。

[fcme]

@懒人烘培
是的，必须的