太夸张了吧。。。

刚搜了一下paiton. 你们这R9700 也吃得太好了吧。。。。 羡慕嫉妒+后悔。

Paiton 這麼香喔 哇～～～ @@

現在一堆大神推出新的推論引擎 競爭激烈

QFN 可以開1M上下文,
測過開512K ctx, 480K tokens prompt 丟進去可以找到needles 大海撈針 撈得到

我也是昨天开了256k上下文，好像是有一个什么流式kv，省出来的显存还又给了专家

@rock-shi
沒記錯的話是KV-resident這個參數，可以把大部分的KV cache塞到RAM裡去，多擠一些VRAM出來放專家權重。

合理想象，人总要有点希望，才有动力继续折腾。

@fcme 对，32k放显存，其余的放内存，pcie搬运。个人体验速度几乎没啥影响，似乎还快了一点。显存压力啥的小了很多

为什么这些框架都是老外的？ 有咱们自己的吗？

從2022 2023 gpt出世
考慮智能，所需記憶容量
基本上每年是以十倍的速度增加
也就是這三年
我們已經改善1000倍了

感觉可以，慢慢好好起来了

本帖参与讨论人数已达 10+，入选热议，作者 +3 积分奖励，感谢分享！

奖励凭证：热议 +3 分 · 编号 h2524-1686-1（系统自动发放，显示稍有延迟）

@stxpnet 确实， 当年考虑过， 不过那个时候是单卡路线， 而且也是考虑cuda环境， 所以从 3090 开始入门， 现在看 R9700越来越接近神卡了。