3090理論上支持BF16, 不過好像強行用因為表現會比FP16跟TF32更差, 所以沒有人去優化

Github

@stxpnet 说:

noonghunna/club-3090

看起来不错，我要去试一下

@暧昧光影 说:

@applejuice 我是双卡配置，只用单独3090ti跑llama.cpp，turbo4之后上下文最多到200k，256不行。vllm问了ai肯定不行，128k都够呛。
如果不加多模态投影，省点显存的话，回头试试是否可以256k拉满

单卡 我就没试过了
单卡我才开65k 上下文 ComfyUI 上线的时候 过渡用罢了
其他时候都是2张卡跑LLM

1. 200K上下文拉不满的原因：
3090ti只有24G显存，Qwen3.6-27B-Q4_K_M模型本身占约16-17G，剩下7-8G给KV Cache。
你开了MTP（draft-mtp）还会额外占用draft model的显存，实际留给KV Cache的空间更少。

即使用了 --cache-type-k turbo4 --cache-type-v turbo4（Q4量化KV Cache），200K上下文在27B模型上也远远超过24G的承载能力。粗略估算：27B模型80层左右，Q4 KV Cache每个token约0.5字节×4096隐藏层×2(K+V)×80层 ≈ 0.3MB/token。200K tokens ≈ 61GB显存，这还没算模型本身。

建议解决方案：

• 先用 --ctx-size 32768 跑（32K上下文），绝大部分场景完全够用
• 如果确实需要长上下文，加 --no-kv-offload 把KV Cache放到系统内存，但推理速度会下降
• 或者先用普通版（非MTP）的Qwen3.6-27B跑通，确认基础设置没问题再开MTP——MTP本身也会多吃显存
• 另外可以加上 --cont-batching 配合context shifting，长对话时自动丢弃早期token

2. CUDA设备编号问题：
这是正常的。nvidia-smi的GPU编号和CUDA的设备编号遵循不同的枚举顺序（PCIe总线顺序vs驱动加载顺序）。你可以用 nvidia-smi -q -d INDEX 查看每个GPU的Bus-ID，然后在代码里根据Bus-ID确认对应关系。或者直接试试 CUDA_VISIBLE_DEVICES=1 指定另一张卡，看能效有没有区别。

下面是我用的CUDA 跟驱动给你参考
我是有nvlink但是据了解设置没什么分别

+-----------------------------------------------------------------------------+
| NVIDIA-SMI 595.71.05              Driver Version: 595.71.05    CUDA: 13.2   |
+-----------------------------------------------------------------------------+

之前跑的llama.cpp

Flags (in docker-compose.yml)

--model /models/heretic-gptq-int4
--served-model-name qwen3.6-27b-heretic
--quantization gptq_marlin
--dtype float16
--tensor-parallel-size 2              # both 3090s, real NVLink usage
--max-model-len 262144                # 262K context
--gpu-memory-utilization 0.92
--max-num-seqs 2                      # 2 concurrent streams
--max-num-batched-tokens 8192
--kv-cache-dtype fp8_e5m2             # 1 byte/token KV
--trust-remote-code
--reasoning-parser qwen3              # routes <think> → reasoning_content
--enable-auto-tool-choice
--tool-call-parser qwen3_coder        # native Qwen3 tool format
--enable-prefix-caching               # repeated prompts share KV
--enable-chunked-prefill              # long prefill doesn't block decode
--disable-custom-all-reduce           # MANDATORY for cross-NUMA setup
--host 0.0.0.0
--port 8000                           # container-side; mapped to host :8011

我的vllm设置

Flags (in docker-compose.yml)

--model /models/heretic-gptq-int4
--served-model-name qwen3.6-27b-heretic
--quantization gptq_marlin
--dtype float16
--tensor-parallel-size 2              # both 3090s, real NVLink usage
--max-model-len 262144                # 262K context
--gpu-memory-utilization 0.92
--max-num-seqs 2                      # 2 concurrent streams
--max-num-batched-tokens 8192
--kv-cache-dtype fp8_e5m2             # 1 byte/token KV
--trust-remote-code
--reasoning-parser qwen3              # routes <think> → reasoning_content
--enable-auto-tool-choice
--tool-call-parser qwen3_coder        # native Qwen3 tool format
--enable-prefix-caching               # repeated prompts share KV
--enable-chunked-prefill              # long prefill doesn't block decode
--disable-custom-all-reduce           # MANDATORY for cross-NUMA setup
--host 0.0.0.0
--port 8000                           # container-side; mapped to host :8011

Environment

PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True,max_split_size_mb:512
VLLM_USE_FLASHINFER_SAMPLER=1
VLLM_NO_USAGE_STATS=1
OMP_NUM_THREADS=1