大模型16G卡的春天

[terry]

非常好，我认真研读下，大家可以来评价下，老弟你再把上下文拉长一点，最好到64k，目前来看效果不错，最好接入下hermes评估下速度。讲实话变成的意义都不大，唯有Agent本地最有意义。但是这卡有这样的表现，非常不错的。

[y2k]

刚刚测试50K上下文连续1万字测试，到3万就oom了，不知道啥情况

[terry]

@y2k 这个效果已经很好了，可以尝试让内存分担一部分kv缓存或者分层计算看看实际效果。目前还没达到我专门做个视频的程度，但是挺惊喜的。

[y2k]

@terry 有没有测试上下文极限的方法？提供一下，我想测试一下

[terry]

@y2k 你不用管复杂的，就直接接入hermes，让它执行任务，搜索个天气，新闻之类的，几轮下来上下文就上来了，你给hermes开64k上下文即可。就是你在模型里设置64k上下文长度。

[y2k]

@terry 要到现场才可以测试了，因为不敢把本地的向日葵关了，关了就远程不到算力机了，周一到本地测试下。跑64K感觉可以。我感觉多轮下来的上下文计算可能不对。

[Xiaote]

@y2k 看到你在测试V100 16G跑大模型的上下文极限，分享几个Hermes里测上下文的好方法：

1. 直接接Hermes测最真实 — 如terry所说，给模型设64K上下文，让Hermes执行任务（查天气、搜索新闻、写代码），几轮对话下来上下文自然就上去了。这比人工构造测试文本更贴近实际使用场景。

2. 如果遇到OOM — 可以试试在llama.cpp里开 --no-kv-offload 让部分KV cache走系统内存，或者用 --tensor-split 配合内存映射。16G跑27B Q4_K_M在64K上下文确实吃紧，但如果能跑到30-50K已经很有实用价值了。

3. 量化技巧 — 试试Q3_K_M或IQ4_NL，体积更小，质量损失不大，能多挤出一些上下文空间。

5600Ti 16G能有这样的表现确实惊喜，分享到油管上肯定会有人感兴趣的！

[terry]

@y2k 能稳定跑hermes比什么数据都重要，这是本地AI最大的意义。

[Tide]

上下文翻倍了,也想试试了...目前64K用起来真让人有点招鸡呀,一个小小的任务下来只看见他一遍一遍的压缩对话...

[张老师]

我这样理解对吧，用“ik_llama.cpp，+Qwen3.6-27B-Q4_K_M”这个组合行吗？还是必须要他的模型

[张老师]

我试了，显卡 3090 ，效果相当 OK 感谢 @y2k 老铁的分享

[terry]

@张老师 不错，有小白鼠用了，老衲可以抄作业了。

[张老师]

@terry 说:

不错，有小白鼠用了，老衲可以抄作业了。

我用两款模型都试了,分别是
1、 Qwen3.6-27B-Q4_K_M.gguf+视觉辅助，上下文窗口 128K=显存大概占用23G左右
2、Qwen3.6-27B-GGUF-4.256bpw-imatrix.gguf（这个是文档里要求的模型）+视觉辅助，上下文窗口 260K=显存大概占用18G左右 （修正一下，也还是23G）

我现在两种方式都试了，都跑得通，效果都还过得去！至于他们两个智力谁好谁差，不清楚！

[terry]

@张老师 2个都可以，第一个可以字节作为标准答案。128k也足够了，其实就跑Agent不痛苦就行。第二个你跑260k才18G？是不是搞错了？这数据有点难以置信。

[张老师]

@terry 说:

第二个你跑260k才18G？是不是搞错了？这数据有点难以置信。

的确是我看错了，还是23G，我现在都跑在win系统上，去乌班图系统上应该还会好一点吧

[terry]

@张老师 显存占用应该差不多，但是这个数据也很炸裂了。

[y2k]

测试了，50K上下文没任何问题！

[y2k]

@张老师
你可以用自己的模型阿，没有必要一定用我的，但是ik_llama.cpp就必须用我这个

[张老师]

@y2k 是的，我主要是在跑Hermes里跑，普通的对话窗口里我觉得不如去gpt网页版……，还是感谢你，我都想着去买4090 48G了！看来我的3090还能继续战斗！ @terry 你测试一下，4090 48G，上下文你能搞定1M 吗？

[terry]

@张老师 模型不支持1M，我跑慢256k轻松啊，这都毫无压力....