跑27b模型购买设备请教

[y2k]

博主好，首先感谢你在油管分享的视频，我看了大受震撼！本人长期和linux系统打交道，最近借了同事的5060ti 16g显卡部署了wen3.6-27b-iq4-xs模型，全量加载后13.5g，可用显存1.5g，开启kv cache 双q8后，勉强可以跑20k上下文。接着在另外一个笔记本上部署hermes，要求64k上下文，虽然通过设置可以让hermes运行，但是每次执行任务很快就到18k上下文，做简单任务有时候都会溢出，真是让人又爱又恨！目前想买3080 20g卡学习 comfyui ，同时也需要跑跑本地模型编程，问问20g的3080最大可以跑多少上下文？不胜感激！

[terry]

20G不知道呢，如果你折腾turboquant跑hermes是可以的，论坛有人跑起来了，Q4KM的模型要16.5G，只剩下3.5G，你可以多看看他们的帖子，买24G的卡吧。Q4KS或者你说的Iq4之类的，在hermes任务中明显不如Q4KM，我亲测。

[y2k]

目前我给hermes提示了一个规则，做复杂任务时，上下文到达16k后，压缩归纳，然后重开一个新的对话，继续接着做，直到任务完成为止。目前用了这个规则，测试了一个复杂任务也能处理好了，分享一下

[y2k]

@terry 买24g卡的话。我只能选择7900xtx，3900矿卡是不敢买的，3080 20g之所以敢买是因为有厂家1年保修

[terry]

@y2k 那就买xtx，一步到位，它足够用了。你在hermes里优化设置是浪费时间，xtx可以开128k吗，足够了。

[y2k]

@terry 好的，听取博主意见，后面有坑记得告知哈

[Sam Hsu]

如果可以 建議還是買3090 如果以後要跑comfyui 少折磨 或者要賣 都容易脫手
二手3090也是有保固的 國內維修都是小問題 除非是在國外

[Tide]

我就是3080 20G，只是拿来玩玩可以，干正事建议你还是规格往上。你听老特的没错，他这人尽说实话。

[asd2667]

iq4-xs 可以跑128K上下文 KV8压缩

[怪叔叔]

@y2k 能具体介绍一下方法嘛？谢谢

[im17me]

看自已能接受什么价位，要么上3090 24g，有钱最好上4090 48g

[williamlouis]

@y2k 推荐小霸王学习机 7900xtx 24G

[williamlouis]

昨天看了下 蓝宝石 拼多多上有货 5928.全新无矿最重要。

[joker_chang]

@williamlouis 怎么可能不是矿卡......

[applejuice]

@joker_chang 说:

@williamlouis 怎么可能不是矿卡......

可不可以基本可以100%确定 3090 一定是矿卡？
矿卡跑了几年有10-20%的性能下降？

我昨天下决心 不要买3090 结果huananzi 信誓旦旦 说不会有问题
有两年保家 害我又犹豫了

[terry]

@applejuice 3090早特么停产了，100%矿卡，给你保你相信就没啥问题，关键是互信。