抡锤者

@perter 说:

@刘亚旭
的确是个猛人，8G显存还开256K上下文，只有554个专家常驻显存，全靠CPU在计算。减少一半上下文，我认为速度还能提高一点点。

感谢大佬提醒

@PhilipShi2026 说:

8G显存开256K上下文，降到128K也能用，看看TPS应该还能升不？

256K上下文情况下，截图时候不知道什么原因tks掉了不少，正常工作都是30tks左右。

![替代文字](![图片地址](
图片地址))

汇报如下：
1、折腾过Qwen3.8_35B_A3B，能跑Q8，20tks多一点，但如抡锤大佬所言，这个模型不太行
2、27B，尝试Q4乃至Q6，勉强能运行，2-3tks，那真就不只像便秘了，简直是梗阻
3、出差多，幻想过在办公室丢一台7900xtx+洋垃圾组合，远程来用，但反复听了几次抡锤大佬的视频，仔细想了想，似乎的确没有必须装一台的「真实需求」，反而折腾自己的笔记本看看有没有断了网能稍微凑合干点活儿的模型
4、strata目前看来，就是我这种老菜鸟的福音。

感谢抡锤大佬，感谢论坛。

这个好，网页端的确太费内存而且我还经常一下子挂很多页面驻留