不需要那么高级p100也能跑,生成速度不过慢一点而已,qwen3.8 27b int3 能开到128k上下文。速度不快10-12t/s,虽然不快跑跑本地Agent尝尝鲜还是可以的,毕竟只有那么300-400多。可以先练练手,试试自己的应用场景。虽然int3损失了一点精度,但是也不是什么都不行。
不需要那么高级p100也能跑,生成速度不过慢一点而已,qwen3.8 27b int3 能开到128k上下文。速度不快10-12t/s,虽然不快跑跑本地Agent尝尝鲜还是可以的,毕竟只有那么300-400多。可以先练练手,试试自己的应用场景。虽然int3损失了一点精度,但是也不是什么都不行。