8G显存显卡，两个月前不具备生产力，搭配Hermes蠢得要死，勉强能作为玩具，尝尝鲜，感受一下自动化Agent是啥，但是编程，复杂任务很难完成，多轮后，容易陷入一直调用工具的循环，Hermes超时没了反应。

但是现在，搭配Deepseek Harness，竟然能够干一些简单的活了，编写个小游戏，写个文章啥的，已经有模有样。至少是真的可以干活了。

harness真牛逼，他的任务约束能力，至少让这个傻缺模型智能上了两个档次，从学前班成长为初中生的级别。

因为不是玩AI主力配置，就大概展示一下数据，作为一个参考。

硬件

软件

llama-b9310-bin-win-cuda-12.4-x64

我懒，具体看图

上面是运行了一下 Deepseek harness 的日志。下面是直接用网页版，直接访问llama.cpp 模型的截图。

启动设置：

@echo off
chcp 65001 >nul
title Qwen3.6-35B-A3B 越狱版

cd /d "%~dp0"

:menu
cls
echo ==========================================
echo      Qwen3.6-35B-A3B 越狱版+多模态模型
echo              
echo ==========================================
echo.
echo 1. Qwen3.6-35B-A3B-Uncensored-Q4_K_M (20G、多模态、综合最优）
echo.
echo ==========================================

set /p choice=请输入数字：

if "%choice%"=="1" (
    llama-server.exe ^
    -m "models\Qwen3.6-35B-A3B-Uncensored-Q4_K_M.gguf" ^
    --mmproj "models\mmproj-Qwen3.6-35B-A3B-Uncensored-f16.gguf" ^
    -ngl 999 ^
    --n-cpu-moe 99 ^
    --flash-attn on ^
    --jinja ^
    --api-key 123123 ^
    -c 131072 ^
    -n 8192 ^
    -t 12 ^
    -b 512 ^
    --cache-type-k q4_0 ^
    --cache-type-v q4_0 ^
    --mlock ^
    --no-mmap ^
    --image-min-tokens 1024 ^
    --host 0.0.0.0 ^
    --port 8080
)

pause

我需要比较长的上下文，开了131072上下文。如果调小一点，速度还会提高。我最大调262144，也能跑的动，速度有所下降。调小了能提高，但是最高也就到19 token/s，再也上不去了。我感觉15 token/s 勉强能接受，写个东西阅读能跟的上，可以调用Hermes，做一些小任务，编程不行。编程还得用DSH调用，勉强能做一些东西，智力还是稍微差一点。另外就是上下文用了超过60%，速度会慢，有时候不给他任务，他后台大模型还会自己调用工具循环，不知道什么原因，我现在强制他不循环调用工具，会好一点，很少像死机一样没反应了。

本文就是就是给没来得及上车的游戏党玩家做个参考，利用手中的工具，看看大概能跑个什么数值。这显卡做生产力还是差的有点多。

另外就是不用去试其他大模型了，9B及以下的模型，速度可能比较快一点，但真的智力更堪忧，千问Qwen3.6-35B-A3B，应该是综合性价比最高的，其他厂家的模型，各种量化版本也都试过几十个，输出token速度大多是个位数，8G显存档基本上可以不用试了。这个基本就是8G档的最优模型。