@566656661 说:

@stxpnet

你可以進取點限制到250w

Reddit上很多人都是250w, 大約有原功耗92%的效能

原文

so i actually benchmarked it. qwen 27B q5_k_n via llama.cpp, same prompt 10x at each PL setting, took the median. got this:

350W stock: 38.4 t/s
300W: 37.1 t/s
280W: 36.2 t/s
250W: 35.4 t/s
220W: 32.8 t/s

真正開始出現斷崖下跌只有在220w之後

原文連結

我限制了230-240 因为240 可以压在70度上下

你可以進取點限制到250w

Reddit上很多人都是250w, 大約有原功耗92%的效能

原文

so i actually benchmarked it. qwen 27B q5_k_n via llama.cpp, same prompt 10x at each PL setting, took the median. got this:

350W stock: 38.4 t/s
300W: 37.1 t/s
280W: 36.2 t/s
250W: 35.4 t/s
220W: 32.8 t/s

真正開始出現斷崖下跌只有在220w之後

原文連結

可是一論編程實戰, 35BA3B在大約60到80K長度就會開始很容易偏離計畫跟出幻覺, 27B至少還能跟著繼續下去跑到120K左右, 個人覺得能到150K才會出現注意力潰散

注意這只是我自己習慣的模型上下文長度, 我個人用模型習慣只會用到總長度的一半

不過日常Agent應該也不會跑到這麼長就是了, 編程等專業用途的話就算是家常便飯吧

Qwen3.6 35BA3B不適合拿來編程, 只能拿來日常對話跟RAG的

3B的Activation還是比不過27B的dense模型啊

1. Flash Attention（--flash-attn）：这是最有效的优化之一，对于 Qwen3.6 27B 在 3090 上可以再提升 5-10% 的生成速度。加上后 KV cache 占用也会小一些。

2. KV cache 量化（-ctk q8_0 -ctv q8_0）：如果你不需要超高精度，把 key/value cache 降到 q8_0 可以节省约 2GB 显存，给 context 留更多空间。

3. 线程数（-t）：5700X 是 8C16T，可以试 --threads 8 或 --threads 12，不需要全给 16，有时候线程太多反而有调度开销。

4. 如果还想进一步压低显存：试试 Q4_K_S 甚至 IQ4_XS 量化。27B Q4_K_S ≈ 16GB，比 Q4_K_M 省 1-2GB，速度还能快一丁点，质量差异基本看不出。

5. --no-mmap：如果内存紧张，开这个让模型完全常驻显存，避免 CPU-GPU 反复换页。

总结：最推荐的组合是先加 --flash-attn，然后把 kv cache 量化到 q8_0，应该能到 35 T/s+，同时在 24G 显存里跑 32K context 压力更小。

• 模型本身（27B Q4_K_M）≈ 17-18GB
• 128K context 的 KV cache（Q4_0量化）≈ 7-8GB
• 合计 ~25-26GB，超过 24GB 显存

超出的部分会回落到系统内存，速度会掉到个位数 tok/s，这就是你感觉不丝滑的原因。

建议试试：

1. 先降 context size 到 --ctx-size 32768（32K），对 Codex 编程来说完全够用了
2. 如果还想保留 128K，考虑换成 Q3_K_M 或者 IQ4_NL 量化，模型体积能再省 2-3GB
3. 或者换 14B/15B 的模型（比如 Qwen3.6 15B Q4_K_M），在 3090 上跑 128K 毫无压力

贴一下我的 3090 推荐启动参数：

--ctx-size 32768 -ngl 99 --flash-attn on
--cache-type-k q4_0 --cache-type-v q4_0
--batch-size 512 --ubatch-size 256

这个配置下 27B Q4_K_M 可以全在显存里，编程助手体验很流畅。

:: ================= 配置区 =================
:: 请将下方路径修改为你电脑上实际的模型文件路径
set MODEL_PATH=J:\llama-b9370-bin-win-cuda-12.4-x64\models\2\Qwen3.6-27B-NEO-CODE-HERE-2T-OT-Q4_K_M.gguf

:: 如果你有对应的多模态视觉文件(mmproj)，可以在下方取消注释并填写路径；没有则保持注释
set MMPROJ_PATH=J:\llama-b9370-bin-win-cuda-12.4-x64\models\2\mmproj-F16.gguf
:: ==========================================

echo ========================================
echo Qwen3.6-27B-UD RTX 3090 启动中...
echo ==========================================

:: 启动 llama.cpp (假设 llama-server.exe 或 main.exe 在当前目录下，如果不在请写绝对路径)
.\llama-server.exe ^
--model "%MODEL_PATH%" ^
--ctx-size 131072 ^
--gpu-layers 99 ^
--parallel 1 ^
--temp 0.8 ^
--top-p 0.95 ^
--top-k 20 ^
--cache-type-k q4_0 ^
--cache-type-v q4_0 ^
--flash-attn on ^
--timeout 3600 ^
--repeat-penalty 1.2 ^
--jinja --chat-template-file chat_template.jinja ^
--port 8080 ^
--host 0.0.0.0

pause