抡锤者

r9700*2，256g内存跑估计可以了

参考了你的帖子，优化了下，暂时基本够用了。
7900 XTX 24GB
64GB RAM

strata-iq3_s.json 优化了
--mmap-experts
--resident-cpu-experts
--kv-resident 32768

工作状态：
RAM：约 43GB
GPU：满载
Expert cache：85–92%
Decode：50–60 tok/s

是的，需要优化下，我昨天刚装上机的。我看我运行strata时候基本显卡吃满，cpu一半左右，但是内存使用率特别低，现在7g/64g

跟我一样的显卡，不过4060ti 16g卡我就日常用，打打游戏，另外配了台主机，ubuntu，单卡7900xtx 24g+64g 2666内存双通+ 5700x跑IQ3_S，128k，kv int8，20-40 token，一般稳在30左右，勉强能用，也没继续优化，dsh使用没问题，我现在就是这样使用的。

我单卡7900xtx 24g+64g 2666内存双通+ 5700x跑IQ3_S，128k，kv int8，20-40 token，一般稳在30左右，勉强能用。

mark了，这坑都让你避光了。非常感谢

感谢分享，个人moe本地大模型时代到来

牛b plus了，内存价格又撑住了。

马上买了套板u组起来 多备一台

非常感谢！Strata使用后可以跑更大模型了

比较大的突破，个人主机也可以跟上线上大模型了

@lefunet 我感觉也放不下的

大神们，7900xtx24g 白金版蓝宝石 显卡宽5.3cm 2张有什么推荐的合适板子吗？

感谢分享 留好作业准备抄了

感谢分享，关注下。刚买了张单卡

最近taobao5550可以拿下