抡锤者

声明:这篇东西是叫AI 总结的

交作业。双 3090 跑 Qwen3.6-27B，测了上下文深度对速度的影响

GPU：RTX 3090 ×2，已上 NVLink（nvidia-smi topo -m 显示 NV4，4 条 link 各 14GB/s，约 56GB/s）
模型：Qwen3.6-27B-UD-Q4_K_XL（unsloth 动态量化） --- 下载错了 将就用
引擎：llama.cpp 自编译（CUDA），layer-split（默认模式）
KV cache：q8_0，上下文 153600
开了 MTP（--spec-type draft-mtp --spec-draft-n-max 3）、flash-attn

测试方法： 每次冷 prefill，关掉 prompt cache，数字比较实在。脚本跑 /completion 读 timings。
prompt_n | prefill t/s | gen t/s | 总显存 | 功耗
782 | 708.8 | 59.2 | 34.7G | 440W
6155 | 1285.9 | 58.5 | 34.8G | 436W
24587 | 1249.5 | 54.6 | 34.8G | 441W
98315 | 835.4 | 47.4 | 34.8G | 441W
135017 | 694.2 | 43.2 | 34.8G | 444W

解码 59 → 43 t/s，从 800 一路到 135K 上下文只掉 27%，曲线相当平，不像单卡过了 64K 就断崖
显存全程稳定 34.7G（KV cache 启动时按满 context 预分配），48G 总显存还剩富裕，上下文还能再往上拉
prefill 在中段（6K~24K）能冲到 1250+ t/s，深上下文回落到 700 左右
双卡 layer-split，两张卡轮流跑，速度约等于单卡——双卡的收益主要是"显存容量"，能塞下深上下文
功耗双卡合计稳定 ~440W

一开始先用vllm 跑两张卡 结果只有7t/s， 所以先用上llama 然后在看能不能用上NVLINK
现在还叫claude 解决vllm 然后测试

拿到手显卡成色不错
两张3090涡轮的声音还可以接受 比我3d打印机安静很多
只是我接受不了那个热气
选双路因为那个NVLINK (暂时没发现多大用处）单路的nvlink 2/3slot 距离都不适用

整了1个小时多放弃了 才装上Ubuntu
一开始还是 手动问ai 一句我做一步
后面懒了 直接交给claude code

还有一点就是，刚好跟同一家买，卖家测好发货
不然我就踩了NVLINK间距的坑, 卖家测了不能用 就跟我说 结果还帮我找2slot nvlink连接器 换了PCIE 间距适合的 主板（当然花更多钱了）
意外收获的是，因为升级主板买到带有IPMI接口的 所以可以远程开关机 省点电费

硬件清单

组件	型号
主板	华南 X10-X99-8D(双路 LGA2011-3,8× DDR4 RDIMM,合计 80 条 PCIe 通道)
CPU × 2	Xeon E5-2686 v4(18c/36t,145W TDP,Broadwell-EP)
内存	三星 32GB DDR4-2133 ECC RDIMM × 2(合计 64GB,每 CPU 1 条)
显卡 × 2	RTX 3090 24GB 涡轮版
NVLink	2-slot 3090 NVLink 桥接
电源	长城 G13 1250W 金牌全模(ATX 3.1)
机箱	华南 Z40

|

烤gpu 测试

./gpu_burn 300
Using compare file: compare.ptx
Burning for 300 seconds.
GPU 0: NVIDIA GeForce RTX 3090 (UUID: GPU-74cf88c2-0b03-6936-e1ab-8e990e6e854f)
GPU 1: NVIDIA GeForce RTX 3090 (UUID: GPU-717e4ea4-942e-072e-5e0c-52d905fa5773)
cuInit returned 0 (no error)
cuInit returned 0 (no error)
Initialized device 0 with 24126 MB of memory (23848 MB available, using 21463 MB of it), using FLOATS
Results are 268435456 bytes each, thus performing 81 iterations
Initialized device 1 with 24126 MB of memory (23848 MB available, using 21463 MB of it), using FLOATS
Results are 268435456 bytes each, thus performing 81 iterations
11.0% proc'd: 486 (16447 Gflop/s) - 405 (16252 Gflop/s) errors: 0 - 0 temps: 68 C - 63 C
Summary at: Tue May 26 09:48:50 AM UTC 2026

22.0% proc'd: 891 (15863 Gflop/s) - 891 (15699 Gflop/s) errors: 0 - 0 temps: 71 C - 67 C
Summary at: Tue May 26 09:49:23 AM UTC 2026

33.3% proc'd: 1458 (15569 Gflop/s) - 1377 (15598 Gflop/s) errors: 0 - 0 temps: 73 C - 68 C
Summary at: Tue May 26 09:49:57 AM UTC 2026

43.7% proc'd: 1863 (15447 Gflop/s) - 1863 (15446 Gflop/s) errors: 0 - 0 temps: 73 C - 69 C
Summary at: Tue May 26 09:50:28 AM UTC 2026

54.7% proc'd: 2349 (15331 Gflop/s) - 2268 (15387 Gflop/s) errors: 0 - 0 temps: 74 C - 69 C
Summary at: Tue May 26 09:51:01 AM UTC 2026

65.3% proc'd: 2754 (15300 Gflop/s) - 2754 (15318 Gflop/s) errors: 0 - 0 temps: 75 C - 69 C
Summary at: Tue May 26 09:51:33 AM UTC 2026

75.3% proc'd: 3159 (15246 Gflop/s) - 3159 (15322 Gflop/s) errors: 0 - 0 temps: 75 C - 69 C
Summary at: Tue May 26 09:52:03 AM UTC 2026

85.7% proc'd: 3645 (15201 Gflop/s) - 3564 (15280 Gflop/s) errors: 0 - 0 temps: 75 C - 69 C
Summary at: Tue May 26 09:52:34 AM UTC 2026

97.0% proc'd: 4050 (15205 Gflop/s) - 4050 (15248 Gflop/s) errors: 0 - 0 temps: 75 C - 69 C
Summary at: Tue May 26 09:53:08 AM UTC 2026

100.0% proc'd: 4212 (15204 Gflop/s) - 4212 (15231 Gflop/s) errors: 0 - 0 temps: 75 C - 69 C
Killing processes with SIGTERM (soft kill)

记错了 是26%，差不多30%了

Heretic (qwen3.6-27b-heretic) — NVLink vs No-NVLink (TP=2, 245 W cap)

Metric	With NVLink	Without NVLink (NCCL_P2P_DISABLE=1)	Change
Decode, single-stream (tok/s)	68	65.6	−3.5 %
Prefill, cold (tok/s)	~1,950	~1,438	−26 %

@joker_chang 我也是因为高强度用的时候gpu 假死卡机 需要从启 所以才测测

可以了
用上nvlink
但是不能用MTP 因为模型不支持 上述GITHUB 文章 用的只是文字模型 我想要多模态模型
我就不测试 文字模型 了 应该100t/s 没问题
比较奇怪的是 我没想到prefill 快了

GPU 限制 250w

模型

Repo	llmfan46/Qwen3.6-27B-uncensored-heretic-v2-GPTQ-Int4
Multimodal	vision (image input)
MTP heads	Present but disabled (0% accept on GPTQ)
Native context	262,144 tokens
Engine	vLLM v0.21.0

---

参数

--model /models/heretic-gptq-int4
--served-model-name qwen3.6-27b-heretic
--quantization gptq_marlin
--dtype float16
--tensor-parallel-size 2              # both 3090s, real NVLink usage
--max-model-len 262144                # 262K context
--gpu-memory-utilization 0.92
--max-num-seqs 2                      # 2 concurrent streams
--max-num-batched-tokens 8192
--kv-cache-dtype fp8_e5m2             # 1 byte/token KV
--trust-remote-code
--reasoning-parser qwen3              # routes <think> → reasoning_content
--enable-auto-tool-choice
--tool-call-parser qwen3_coder        # native Qwen3 tool format
--enable-prefix-caching               # repeated prompts share KV
--enable-chunked-prefill              # long prefill doesn't block decode
--disable-custom-all-reduce           # MANDATORY for cross-NUMA setup

---

测试

Metric	Value
Decode (single-stream, steady)	67 t/s (同时2个对话同时 62t/s
Prefill (4K prompt, warmed)**	1,289 t/s (同时2个对话 1,000 t/s）
VRAM total	~43 GB / 48 GB

笑死我了
我翻回去看了一下，第一眼看过去 真的像酸
但是说是台湾人又觉得没问题了

@Haiyun-LIU 不懂你香港有什么分别.
但是我在马来西亚寄回根本是恶梦，寄回两张3090显卡大概是10% 显卡的价钱， 还没包过关税. 虽然说在国内买 可以免进关税 但是没人敢确定.
甚至 运输公司说可能在海关就被丢掉.

@joker_chang

z40? 我也用一样机箱 但是侧板装起来
前面3个风扇抽风
后面上面一个风扇排风
里面两个风扇对准GPU

但是我限制功率245w

烤机5分钟
gpu - 70c(fan 70%) /74c (fan 92%)
vram - 82c/84c
cpu - 47c

我感觉我加了那么多风扇 cpu 收益最多

@terry
暂时根据ai看来 是gpu 出问题
已经第2个nvlink 一样问题
第一个nvlink 卖家用别的卡测试也是有问题

感觉 4张 gpu 2条nvlink 都刚好出问题
所以怀疑是平台问题

你们都不限制功耗吗？ 不是说后面30%功耗只换来5%计算能力吗？

不明白什么是 上下文不能拉满？

下面是我用的CUDA 跟驱动给你参考
我是有nvlink但是据了解设置没什么分别

+-----------------------------------------------------------------------------+
| NVIDIA-SMI 595.71.05              Driver Version: 595.71.05    CUDA: 13.2   |
+-----------------------------------------------------------------------------+

之前跑的llama.cpp

Flags (in docker-compose.yml)

--model /models/heretic-gptq-int4
--served-model-name qwen3.6-27b-heretic
--quantization gptq_marlin
--dtype float16
--tensor-parallel-size 2              # both 3090s, real NVLink usage
--max-model-len 262144                # 262K context
--gpu-memory-utilization 0.92
--max-num-seqs 2                      # 2 concurrent streams
--max-num-batched-tokens 8192
--kv-cache-dtype fp8_e5m2             # 1 byte/token KV
--trust-remote-code
--reasoning-parser qwen3              # routes <think> → reasoning_content
--enable-auto-tool-choice
--tool-call-parser qwen3_coder        # native Qwen3 tool format
--enable-prefix-caching               # repeated prompts share KV
--enable-chunked-prefill              # long prefill doesn't block decode
--disable-custom-all-reduce           # MANDATORY for cross-NUMA setup
--host 0.0.0.0
--port 8000                           # container-side; mapped to host :8011

我的vllm设置

Flags (in docker-compose.yml)

--model /models/heretic-gptq-int4
--served-model-name qwen3.6-27b-heretic
--quantization gptq_marlin
--dtype float16
--tensor-parallel-size 2              # both 3090s, real NVLink usage
--max-model-len 262144                # 262K context
--gpu-memory-utilization 0.92
--max-num-seqs 2                      # 2 concurrent streams
--max-num-batched-tokens 8192
--kv-cache-dtype fp8_e5m2             # 1 byte/token KV
--trust-remote-code
--reasoning-parser qwen3              # routes <think> → reasoning_content
--enable-auto-tool-choice
--tool-call-parser qwen3_coder        # native Qwen3 tool format
--enable-prefix-caching               # repeated prompts share KV
--enable-chunked-prefill              # long prefill doesn't block decode
--disable-custom-all-reduce           # MANDATORY for cross-NUMA setup
--host 0.0.0.0
--port 8000                           # container-side; mapped to host :8011

Environment

PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True,max_split_size_mb:512
VLLM_USE_FLASHINFER_SAMPLER=1
VLLM_NO_USAGE_STATS=1
OMP_NUM_THREADS=1

---

本地模型不能给他自己决定
直接给他指令比如 跟他说昨天有一场球赛 谁对谁 查询结果 这样都可以

如果只是说谁对谁 比较麻烦 会走很多弯路
如果直接给他网站 就快很多

给个支持
我读完了
虽然不一定明白就对了

刚刚在huananzhi 拿到价钱
如果这想要应该会看砍掉ddr4 用ddr3 就好
3090保两年

跟着 https://github.com/mattbucci/2x-3090-GA102-300-A1-sglang-inference
我也用起来了 3090x2

python -m sglang.launch_server
--model-path /home/ccadmin/AI/models/hf-mattbucci/Qwen3.6-27B-AWQ
--tensor-parallel-size 2
--dtype float16
--kv-cache-dtype fp8_e4m3
--context-length 262144
--mem-fraction-static 0.85
--max-running-requests 8
--chunked-prefill-size 8192
--num-continuous-decode-steps 32
--trust-remote-code
--watchdog-timeout 600
--port 30000
--host 0.0.0.0
--enable-metrics
--disable-custom-all-reduce
--served-model-name qwen36-dense
--max-mamba-cache-size 8
--chat-template …/Qwen3.6-27B-AWQ/chat_template.jinja
--reasoning-parser qwen3
--sampling-defaults model
--tool-call-parser qwen3_coder
--sampling-backend pytorch

Prefill (time-to-first-token, max_tokens=1)

Prompt tokens	TTFT (s)	Prefill rate (tok/s)
1,344	1.12	1,203
5,352	3.83	1,398
10,680	7.71	1,386
21,336	15.58	1,369
42,672	33.41	1,277
Typical	—	~1,350

Decode (steady-state generation)

Metric	Value
Completion tokens	571
Time (s)	9.16
Decode rate	62.3 tok/s
GPU utilization	98%
Power draw	244 W (cap)
Repo ref (w/ NVLink)	69 tok/s

@kos-or 说:

@rock-shi 讓它進來當你的小助手在這邊發言 哈哈哈～ 結果這個論壇最後變成機器人交流群

应该开一个板块 专给 机器人交流
龙虾之前就有一个 好像卖给openai 不少钱

@kos-or 有竞争就是好

@kop-wang 说:

给楼主的执行力点赞。就是因为无法接受涡轮，所以现在还没下手魔改卡

我放在房间外面 所以对我没影响
很大声 只是那个地方没人会呆在哪
但是比起我打印机4025暴力风扇，3090涡轮风扇声音好听很多

comfyUI 也顺利跑起来了
用一张卡跑comfyUI 另一张跑个60k上下文qwen3.6 27b 给其他用途

暂时算是还可以

把显卡算力租出去然后赚钱买r9700