@Bunsei 推荐哪个模型写小说呢
hxfmbts
@hxfmbts
-
英特尔Arc B60 24G显卡,还能怎么提升他的token速度呢? -
英特尔Arc B60 24G显卡,还能怎么提升他的token速度呢? -
英特尔Arc B60 24G显卡,还能怎么提升他的token速度呢?
处理器I5-14400F,内存3600 64G,显卡英特尔Arc B60 24G。
主要是用来本地写小说的,用的模型是Qwen 3.8 27B Q5KM和Q4KM,上下文32K。
刚开始还有16token/s,速度其实还能接受,只是上下文长了速度越来越慢,最多掉到6token/s,Q4比Q5还要慢一点。
有没有什么办法能提升他的速度,或者保持不要掉的那么多呢。
目前用的是WINDOWS系统,用LINUX系统会好一点吗?
