【求助】关注论坛3个月，没有搞定3090 单卡qwen3.6/3.8 27b模型的生产力部署。求抄作业。

[stxpnet]

这有张图，或许可以参考一下，其实我觉得NVLINK还是有用的，起码它把48G NCCL连接的显卡变成了接近48G魔改4090显卡 6-7 成功力的卡。

[坤坤]

上下文的个硬伤，而且这些模型你不能说像api一样完整完成任务，你需要自己去细分，规划，做一个项目号规划书，每个模块都拆成不同的小模块然后制定规范让它去干活才行

[applejuice]

@wwcd2016 不可能代替线上
只能部分代替
如果需要本地私隐 才部署本地模型

qwen3.6 就是半年前 minimax 2.7
现在qwen3.8 我就不懂了

我基本上需要处理公司文件 我才用我的本地模型
其他时候都是claude

[applejuice]

@stxpnet 就如你所看到, nvlink加了200t/s prefill

好处就是不需要理pcie 如果不介意付1000 还是可以玩玩

只是我翻车了 一张卡nvlink 有问题

[Xiaote]

先对齐一下预期：27B 本地模型和 DeepSeek V4（300B 级 MoE）比综合智力，任何参数都救不回来。老特说的"替代"是指特定场景——结构化工具调用、隐私数据、离线、窄任务——不是全面替代。3090 单卡的正确打开方式是"把几个窄任务跑到稳定够用"，而不是"全面平替 API"。你 3 个月抄作业没成，大概率不是参数问题，是拿着 24G 卡的物理预算去跑 48G 卡的作业。

直接给一套能跑的（按 3090 标准 24G 给，你标的 32G 余量更大，参数直接套）：

模型：Qwen3.8-27B Q4_K_M（约 16GB，选带 MTP head 的版本）。别用 FP8（28.5GB）——24G 上必 spill，速度直接掉到 20 以下。

llama-server 启动参数：
-ngl 99 --flash-attn --ctx-size 65536
-ctk q8_0 -ctv q4_1
--mtp <draft模型路径> --spec-draft-n-max 2
--host 127.0.0.1 --port 8080

Hermes 侧（config.yaml）：
context_length: 65536（64K 是 Hermes 的硬门槛，别小于这个）
temperature: 0.1-0.3
思考档位锁 low 或 medium（3.8 的 v22 模板 high 档会疯狂思考吞上下文，agent 场景锁低档）

预期速度：3090 带宽 936GB/s，Q4_K_M 16GB 权重，上限约 55-58 t/s；短上下文实测 40-50，64K 上下文掉到 30 左右——这是物理，不是没调好。

抄作业失败的三个最常见原因：

1. 量化选错：27B 的 FP8 是 28.5GB，24G 必 spill，换 Q4_K_M 约 16GB
2. 上下文抄大：论坛一堆 128K/256K 的作业是 32G/48G 卡跑的；24G 卡 64K 就是甜点，128K+ 掉速加 OOM
3. 思考模式没管：3.8 默认 thinking 吃速度吃上下文，关掉或锁 low/medium；另外 3.8 的工具调用有回归报告，如果 Hermes agent 干活不稳，换 3.6 27B Q4_K_M 更稳（论坛多个实测）

最后一句实话：本地 27B 的定位是隐私、离线、日常窄任务；复杂长链任务继续 DeepSeek API 反而省心。混合架构——本地跑常规、API 跑难题——才是 3090 单卡的"生产力"。

[terry]

你认真看了视频没？我在视频里常说的就是无法替代，可以把85%的编程工作交给它。你说无法替代，是哪里无法替代？论坛有几十个帖子带启动参数，你看不到？

[stxpnet]

10个太少啦，我至少弄了100个，你信不，其实最好的还是从头去补模型的基础知识，相当于上了一次大学AI本科课程，那样玩起来会舒服许多，好过这样用土方法盲目重试..

[wwcd2016]

@terry 说:

你认真看了视频没？我在视频里常说的就是无法替代，可以把85%的编程工作交给它。你说无法替代，是哪里无法替代？论坛有几十个帖子带启动参数，你看不到？

谢谢老特回复！你每一个视频我都认真看了。为什么还来问？

因为：我想确认一下。这次。我彻底死心了。赶紧去弄双3090 ，还勉强可以有生产力。

单卡对要求不高，处理一下文档。定时任务。一点问题都没有。但是。老特说的，这样的场景，就是macbook或者macmini +deepseek 最合适。自己跑llm，电费+折旧比 买deepseek贵很多。

——————
以上总结完毕：论坛里有单卡3090的可以死心了。

[terry]

@wwcd2016 单卡3090肯定可以，你犯不着为了Qwen 27B买双卡，我是单卡7900xtx都够，你怎么会不够呢？但双3090确实体验就是另一个档次了，不过要配好的主板。

[joker_chang]

启动脚本【
REM 仅使用第一张 GPU (RTX 3090 Ti)
set CUDA_VISIBLE_DEVICES=0

set SERVER_PATH=.\llama-server.exe

REM 设置模型路径：若提供了第一个参数则使用该参数，否则使用默认路径
if "%~1"=="" (
set MODEL_PATH=D:\MyModels\Qwen3.8-27B\Qwen3.8-27B-Q4_K_M.gguf
echo 未提供模型路径，使用默认路径: %MODEL_PATH%
) else (
set MODEL_PATH=%~1
echo 使用指定的模型路径: %MODEL_PATH%
)

"%SERVER_PATH%" ^
-m "%MODEL_PATH%" ^
--host 0.0.0.0 ^
--port 3527 ^
--reasoning off ^
--n-gpu-layers -1 ^
--ctx-size 131072 ^
--batch-size 4096^
--ubatch-size 2048 ^
--flash-attn on ^
--cache-type-k q4_0 ^
--cache-type-v q4_0 ^
--spec-type draft-mtp ^
--spec-draft-n-max 5 ^
--spec-draft-n-min 1 ^
--temp 0.7 ^
--parallel 1 ^
--kv-unified ^
--mlock ^
--jinja ^
--threads 16 ^
--threads-batch 16 ^
--no-warmup

pause
】

[joker_chang]

说3090+qwen3.8-27b_q4_k_m成不了生产力的，我不想吐槽了、反正我是够用了。

想吐槽的是，qwen3.8-27b的thinking真的是默认太高了，我是在Hermes中设置成medium后，才感觉速度上能和qwen3.6-27b持平。

[imbiplaza ASUS]

其实我也不懂何谓生产力。。。。只不过最近忙碌外面的生意，偶尔再电脑做一些东西，比如这个minimax director cut

然而我的生产力是外面的生意来补助我的玩耍。。。