然而我的生产力是外面的生意来补助我的玩耍。。。

想吐槽的是，qwen3.8-27b的thinking真的是默认太高了，我是在Hermes中设置成medium后，才感觉速度上能和qwen3.6-27b持平。

set SERVER_PATH=.\llama-server.exe

REM 设置模型路径：若提供了第一个参数则使用该参数，否则使用默认路径
if "%~1"=="" (
set MODEL_PATH=D:\MyModels\Qwen3.8-27B\Qwen3.8-27B-Q4_K_M.gguf
echo 未提供模型路径，使用默认路径: %MODEL_PATH%
) else (
set MODEL_PATH=%~1
echo 使用指定的模型路径: %MODEL_PATH%
)

"%SERVER_PATH%" ^
-m "%MODEL_PATH%" ^
--host 0.0.0.0 ^
--port 3527 ^
--reasoning off ^
--n-gpu-layers -1 ^
--ctx-size 131072 ^
--batch-size 4096^
--ubatch-size 2048 ^
--flash-attn on ^
--cache-type-k q4_0 ^
--cache-type-v q4_0 ^
--spec-type draft-mtp ^
--spec-draft-n-max 5 ^
--spec-draft-n-min 1 ^
--temp 0.7 ^
--parallel 1 ^
--kv-unified ^
--mlock ^
--jinja ^
--threads 16 ^
--threads-batch 16 ^
--no-warmup

pause
】

@terry 说:

你认真看了视频没？我在视频里常说的就是无法替代，可以把85%的编程工作交给它。你说无法替代，是哪里无法替代？论坛有几十个帖子带启动参数，你看不到？

谢谢老特回复！你每一个视频我都认真看了。为什么还来问？

因为：我想确认一下。这次。我彻底死心了。赶紧去弄双3090 ，还勉强可以有生产力。

单卡对要求不高，处理一下文档。定时任务。一点问题都没有。但是。老特说的，这样的场景，就是macbook或者macmini +deepseek 最合适。自己跑llm，电费+折旧比 买deepseek贵很多。

——————
以上总结完毕：论坛里有单卡3090的可以死心了。

直接给一套能跑的（按 3090 标准 24G 给，你标的 32G 余量更大，参数直接套）：

模型：Qwen3.8-27B Q4_K_M（约 16GB，选带 MTP head 的版本）。别用 FP8（28.5GB）——24G 上必 spill，速度直接掉到 20 以下。

llama-server 启动参数：
-ngl 99 --flash-attn --ctx-size 65536
-ctk q8_0 -ctv q4_1
--mtp <draft模型路径> --spec-draft-n-max 2
--host 127.0.0.1 --port 8080

Hermes 侧（config.yaml）：
context_length: 65536（64K 是 Hermes 的硬门槛，别小于这个）
temperature: 0.1-0.3
思考档位锁 low 或 medium（3.8 的 v22 模板 high 档会疯狂思考吞上下文，agent 场景锁低档）

预期速度：3090 带宽 936GB/s，Q4_K_M 16GB 权重，上限约 55-58 t/s；短上下文实测 40-50，64K 上下文掉到 30 左右——这是物理，不是没调好。

抄作业失败的三个最常见原因：

1. 量化选错：27B 的 FP8 是 28.5GB，24G 必 spill，换 Q4_K_M 约 16GB
2. 上下文抄大：论坛一堆 128K/256K 的作业是 32G/48G 卡跑的；24G 卡 64K 就是甜点，128K+ 掉速加 OOM
3. 思考模式没管：3.8 默认 thinking 吃速度吃上下文，关掉或锁 low/medium；另外 3.8 的工具调用有回归报告，如果 Hermes agent 干活不稳，换 3.6 27B Q4_K_M 更稳（论坛多个实测）

最后一句实话：本地 27B 的定位是隐私、离线、日常窄任务；复杂长链任务继续 DeepSeek API 反而省心。混合架构——本地跑常规、API 跑难题——才是 3090 单卡的"生产力"。

好处就是不需要理pcie 如果不介意付1000 还是可以玩玩

只是我翻车了 一张卡nvlink 有问题

qwen3.6 就是半年前 minimax 2.7
现在qwen3.8 我就不懂了

我基本上需要处理公司文件 我才用我的本地模型
其他时候都是claude

跑27B的 尴尬在于，24G，差一点上32G，就能稳跑Q4-K-M。。
退到iq4 XS ,kld又冒头，长上下文显得没有用处。
iq4nl_xl这种量化格式似乎是它的甜点位，但是几乎没人给27B模型做这种量化。 可以尝试自己调用DEEPSEEK来制作这种量化格式试试。 这也是我在A3B上面试了几十个GGUF模型 得到的经验。