Wang-Wei 说:
抄了作业 只有20-30 t/s 不过我是在win下的 wsl2挂着跑 显存有溢出 换原生Ubuntu太折腾了
我把np从2改到1就可以了,显存不溢出,q5 128k上下文 55t/s 换成q4可以到70 一个slot够我用了
Wang-Wei 说:
抄了作业 只有20-30 t/s 不过我是在win下的 wsl2挂着跑 显存有溢出 换原生Ubuntu太折腾了
我把np从2改到1就可以了,显存不溢出,q5 128k上下文 55t/s 换成q4可以到70 一个slot够我用了
抄了作业 只有20-30 t/s 不过我是在win下的 wsl2挂着跑 显存有溢出 换原生Ubuntu太折腾了
同样是32G内存 7900xtx 但是要用windows 请问,把Ubuntu装在wsl2下,llama.cpp跑qwen 3.8这样可以吗? 128K上下文还能不能做到?
5090SE 32G显存 有没有人关注?
5070 ti supper 24g 要卖多少 应该很难抢吧
前些天买了一张3090涡轮,考虑到噪音,换了7900xtx,7900xtx折腾起来没那么麻烦,我跟chatGPT一边聊天一边让它给命令行,再把执行结果给chatGPT就这样就搞定了。
另外,本来以为用了两个月的3090会让我损失一两千,今天看了闲鱼,定价涨900,很快就出了。哈哈
@wml-ai 这个不错 加车了
我进去点了几下出来了720的券,哈哈,买还是不买,已经买了3090