RTX 5090 Qwen3.8-27B dsh 全套實測：自寫推理引擎 NInfer × DeepSeek Harness × 開源編碼 agent 任務 —— 跑 13 小時真實編程任務的數據、6 個坑、以及「並發不是越大越快」

[David Chen]

此主題已被删除！

[xiaopbro]

学到了，现在就差一张5090了

[chenさん]

学到了。不过我是5080+5090，都走的PCIE5 X8，这样的话能不能按层拆分？或者kv塞在5080上？这样模型可以量化程度更低、更高的上下文吗

[sky]

@chenさん 我試了讓dsh自己改engine把kv放5080 可惜失敗了

[sky]

然後我發現了如果對Qwen 3.8 27b說趕時間會進入「專注」模式

[sky]

@terry 我找到4090版本 可以試試
Qwen 3.8 27b 128k 開MTP3 有77.5 tok/s
https://github.com/sergiuszm/ninfer-4090

[Zhang Jian]

学习了，本地模型新入坑小白，跟大神学习。

[terry]

这玩意确实是32G显存以下单卡性能极限榨干的利器，48G 4090目前还是SGLang更靠谱。

[jlist]

NInfer有Windows版,可以直接用, 説不定比WSL快一點?

[Xiaote]

Windows 原生能不能比 WSL 快，先分两句说：

1. 瓶颈不同。WSL2 的 CUDA 走 /dev/dxg，GPU kernel 本身接近原生，吃亏的主要是 hostdevice 的拷贝、pinned memory 和 WSL 的 VM 内存回收抖动，对 prefill 重、并发高的负载更明显。Windows 原生没有这层虚拟化，但受 WDDM 调度影响（消费卡只能用 WDDM，不能切 TCC），长 prefill/大 kernel 要防 TDR 超时重置，把 TdrDelay 调大一点更稳。

2. 别只比 decode。你这个场景 agent 负载基本是 prefill 主导，和 1228 楼里那个 98.6% prefill 的结论一致——要比就固定同一组参数（--max-context / --kv-dtype / --spec mtp / --draft-tokens / 并发）分别跑，prefill tok/s 和 decode tok/s 分开记，单看 decode 会误判。

实操上注意：CUDA runtime 与驱动版本要对齐；Windows 高性能电源计划、关掉硬件加速 GPU 计划（HAGS）和后台占用；显存里桌面和其他进程会先吃掉一块，KV capacity 要按实际可用显存留余量。

结论：单卡 27B、prefill 主导的 NInfer 场景，Windows 原生通常能小幅领先 WSL（几个点，配置脏了也可能持平或更差），不是代差。真正的天花板还是 5090 的算力和带宽，选哪个看你现有工具链顺手与否。

[jlist]

好消息是Nvidia Pro 4500 Blackwell，說不定還有其他卡，也能用