抡锤者

声明:这篇东西是叫AI 总结的

交作业。双 3090 跑 Qwen3.6-27B，测了上下文深度对速度的影响

GPU：RTX 3090 ×2，已上 NVLink（nvidia-smi topo -m 显示 NV4，4 条 link 各 14GB/s，约 56GB/s）
模型：Qwen3.6-27B-UD-Q4_K_XL（unsloth 动态量化） --- 下载错了 将就用
引擎：llama.cpp 自编译（CUDA），layer-split（默认模式）
KV cache：q8_0，上下文 153600
开了 MTP（--spec-type draft-mtp --spec-draft-n-max 3）、flash-attn

测试方法： 每次冷 prefill，关掉 prompt cache，数字比较实在。脚本跑 /completion 读 timings。
prompt_n | prefill t/s | gen t/s | 总显存 | 功耗
782 | 708.8 | 59.2 | 34.7G | 440W
6155 | 1285.9 | 58.5 | 34.8G | 436W
24587 | 1249.5 | 54.6 | 34.8G | 441W
98315 | 835.4 | 47.4 | 34.8G | 441W
135017 | 694.2 | 43.2 | 34.8G | 444W

解码 59 → 43 t/s，从 800 一路到 135K 上下文只掉 27%，曲线相当平，不像单卡过了 64K 就断崖
显存全程稳定 34.7G（KV cache 启动时按满 context 预分配），48G 总显存还剩富裕，上下文还能再往上拉
prefill 在中段（6K~24K）能冲到 1250+ t/s，深上下文回落到 700 左右
双卡 layer-split，两张卡轮流跑，速度约等于单卡——双卡的收益主要是"显存容量"，能塞下深上下文
功耗双卡合计稳定 ~440W

一开始先用vllm 跑两张卡 结果只有7t/s， 所以先用上llama 然后在看能不能用上NVLINK
现在还叫claude 解决vllm 然后测试

拿到手显卡成色不错
两张3090涡轮的声音还可以接受 比我3d打印机安静很多
只是我接受不了那个热气
选双路因为那个NVLINK (暂时没发现多大用处）单路的nvlink 2/3slot 距离都不适用

整了1个小时多放弃了 才装上Ubuntu
一开始还是 手动问ai 一句我做一步
后面懒了 直接交给claude code

还有一点就是，刚好跟同一家买，卖家测好发货
不然我就踩了NVLINK间距的坑, 卖家测了不能用 就跟我说 结果还帮我找2slot nvlink连接器 换了PCIE 间距适合的 主板（当然花更多钱了）
意外收获的是，因为升级主板买到带有IPMI接口的 所以可以远程开关机 省点电费

硬件清单

组件	型号
主板	华南 X10-X99-8D(双路 LGA2011-3,8× DDR4 RDIMM,合计 80 条 PCIe 通道)
CPU × 2	Xeon E5-2686 v4(18c/36t,145W TDP,Broadwell-EP)
内存	三星 32GB DDR4-2133 ECC RDIMM × 2(合计 64GB,每 CPU 1 条)
显卡 × 2	RTX 3090 24GB 涡轮版
NVLink	2-slot 3090 NVLink 桥接
电源	长城 G13 1250W 金牌全模(ATX 3.1)
机箱	华南 Z40

|

烤gpu 测试

./gpu_burn 300
Using compare file: compare.ptx
Burning for 300 seconds.
GPU 0: NVIDIA GeForce RTX 3090 (UUID: GPU-74cf88c2-0b03-6936-e1ab-8e990e6e854f)
GPU 1: NVIDIA GeForce RTX 3090 (UUID: GPU-717e4ea4-942e-072e-5e0c-52d905fa5773)
cuInit returned 0 (no error)
cuInit returned 0 (no error)
Initialized device 0 with 24126 MB of memory (23848 MB available, using 21463 MB of it), using FLOATS
Results are 268435456 bytes each, thus performing 81 iterations
Initialized device 1 with 24126 MB of memory (23848 MB available, using 21463 MB of it), using FLOATS
Results are 268435456 bytes each, thus performing 81 iterations
11.0% proc'd: 486 (16447 Gflop/s) - 405 (16252 Gflop/s) errors: 0 - 0 temps: 68 C - 63 C
Summary at: Tue May 26 09:48:50 AM UTC 2026

22.0% proc'd: 891 (15863 Gflop/s) - 891 (15699 Gflop/s) errors: 0 - 0 temps: 71 C - 67 C
Summary at: Tue May 26 09:49:23 AM UTC 2026

33.3% proc'd: 1458 (15569 Gflop/s) - 1377 (15598 Gflop/s) errors: 0 - 0 temps: 73 C - 68 C
Summary at: Tue May 26 09:49:57 AM UTC 2026

43.7% proc'd: 1863 (15447 Gflop/s) - 1863 (15446 Gflop/s) errors: 0 - 0 temps: 73 C - 69 C
Summary at: Tue May 26 09:50:28 AM UTC 2026

54.7% proc'd: 2349 (15331 Gflop/s) - 2268 (15387 Gflop/s) errors: 0 - 0 temps: 74 C - 69 C
Summary at: Tue May 26 09:51:01 AM UTC 2026

65.3% proc'd: 2754 (15300 Gflop/s) - 2754 (15318 Gflop/s) errors: 0 - 0 temps: 75 C - 69 C
Summary at: Tue May 26 09:51:33 AM UTC 2026

75.3% proc'd: 3159 (15246 Gflop/s) - 3159 (15322 Gflop/s) errors: 0 - 0 temps: 75 C - 69 C
Summary at: Tue May 26 09:52:03 AM UTC 2026

85.7% proc'd: 3645 (15201 Gflop/s) - 3564 (15280 Gflop/s) errors: 0 - 0 temps: 75 C - 69 C
Summary at: Tue May 26 09:52:34 AM UTC 2026

97.0% proc'd: 4050 (15205 Gflop/s) - 4050 (15248 Gflop/s) errors: 0 - 0 temps: 75 C - 69 C
Summary at: Tue May 26 09:53:08 AM UTC 2026

100.0% proc'd: 4212 (15204 Gflop/s) - 4212 (15231 Gflop/s) errors: 0 - 0 temps: 75 C - 69 C
Killing processes with SIGTERM (soft kill)

@joker_chang 我也是因为高强度用的时候gpu 假死卡机 需要从启 所以才测测

@terry
暂时根据ai看来 是gpu 出问题
已经第2个nvlink 一样问题
第一个nvlink 卖家用别的卡测试也是有问题

感觉 4张 gpu 2条nvlink 都刚好出问题
所以怀疑是平台问题

可以了
用上nvlink
但是不能用MTP 因为模型不支持 上述GITHUB 文章 用的只是文字模型 我想要多模态模型
我就不测试 文字模型 了 应该100t/s 没问题
比较奇怪的是 我没想到prefill 快了

GPU 限制 250w

模型

Repo	llmfan46/Qwen3.6-27B-uncensored-heretic-v2-GPTQ-Int4
Multimodal	vision (image input)
MTP heads	Present but disabled (0% accept on GPTQ)
Native context	262,144 tokens
Engine	vLLM v0.21.0

---

参数

--model /models/heretic-gptq-int4
--served-model-name qwen3.6-27b-heretic
--quantization gptq_marlin
--dtype float16
--tensor-parallel-size 2              # both 3090s, real NVLink usage
--max-model-len 262144                # 262K context
--gpu-memory-utilization 0.92
--max-num-seqs 2                      # 2 concurrent streams
--max-num-batched-tokens 8192
--kv-cache-dtype fp8_e5m2             # 1 byte/token KV
--trust-remote-code
--reasoning-parser qwen3              # routes <think> → reasoning_content
--enable-auto-tool-choice
--tool-call-parser qwen3_coder        # native Qwen3 tool format
--enable-prefix-caching               # repeated prompts share KV
--enable-chunked-prefill              # long prefill doesn't block decode
--disable-custom-all-reduce           # MANDATORY for cross-NUMA setup

---

测试

Metric	Value
Decode (single-stream, steady)	67 t/s (同时2个对话同时 62t/s
Prefill (4K prompt, warmed)**	1,289 t/s (同时2个对话 1,000 t/s）
VRAM total	~43 GB / 48 GB

@Haiyun-LIU 不懂你香港有什么分别.
但是我在马来西亚寄回根本是恶梦，寄回两张3090显卡大概是10% 显卡的价钱， 还没包过关税. 虽然说在国内买 可以免进关税 但是没人敢确定.
甚至 运输公司说可能在海关就被丢掉.

笑死我了
我翻回去看了一下，第一眼看过去 真的像酸
但是说是台湾人又觉得没问题了

prefill 呢？
少过1000的prefill 个人觉得很难用

hermes cold start 要等20-30秒会要命

记错了 是26%，差不多30%了

Heretic (qwen3.6-27b-heretic) — NVLink vs No-NVLink (TP=2, 245 W cap)

Metric	With NVLink	Without NVLink (NCCL_P2P_DISABLE=1)	Change
Decode, single-stream (tok/s)	68	65.6	−3.5 %
Prefill, cold (tok/s)	~1,950	~1,438	−26 %

comfyUI 也顺利跑起来了
用一张卡跑comfyUI 另一张跑个60k上下文qwen3.6 27b 给其他用途

暂时算是还可以

@joker_chang

z40? 我也用一样机箱 但是侧板装起来
前面3个风扇抽风
后面上面一个风扇排风
里面两个风扇对准GPU

但是我限制功率245w

烤机5分钟
gpu - 70c(fan 70%) /74c (fan 92%)
vram - 82c/84c
cpu - 47c

我感觉我加了那么多风扇 cpu 收益最多

@kop-wang 说:

给楼主的执行力点赞。就是因为无法接受涡轮，所以现在还没下手魔改卡

我放在房间外面 所以对我没影响
很大声 只是那个地方没人会呆在哪
但是比起我打印机4025暴力风扇，3090涡轮风扇声音好听很多

你们都不限制功耗吗？ 不是说后面30%功耗只换来5%计算能力吗？

没有nvlink大概损失15-20% prefill
5-10%decode

@stxpnet

我在国外，邮寄需要一个星期多
前两天搞到卖家手上，不知道他们几时才能给回复

现在用着

Item	Value
Model	Qwen3.8-27B UD-Q4_K_M (16.46 GB, sha256-verified, nextn head present)
Engine	llama.cpp b10498-60addddf3, static CUDA sm_86
Context	135,168
KV	q8_0 / q8_0
Vision	on (mmproj-F16)
MTP	draft-mtp, n-max 2

已经有帖讨论了
结论是不行

谢谢老特，刚好我也需要到
现在先把nvlink 寄回给商家
从马来西亚寄回显卡困难重重

摘要

组件	状态	备注
GPU 0 silicon (compute)	PASS	1000 轮 20K×20K bf16 矩阵乘，100% util，70°C 峰值
GPU 1 silicon (compute)	PASS	同上，68°C 峰值
GPU 0 VRAM	PASS	12 GB 全位元扫描（0/1/0xAA/0x55）零错误
GPU 1 VRAM	PASS	同上
Host RAM (62 GB)	PASS	stress-ng 8 线程 × 90% × 120s 无错误
PCIe Gen 3 x16 (per GPU)	PASS	负载下 Gen 3 x16，怠速 Gen 1（节能正常）
NVLink link 0, 1, 2	PASS	0 replay / 0 CRC during traffic
NVLink link 3	FAIL	物理硬件故障，单次测试累计 3,487 replay + 604 CRC

---

指标	GPU 0	GPU 1
100% util 持续时间	~7 min	~7 min
峰值温度	70°C	68°C
峰值功耗	230 W	239 W
时钟频率	1425 MHz boost	1380 MHz boost
风扇	75%	41-68%
节流事件	无	无
CUDA error	无	无
退出	干净	干净

结论: 两张 3090 硅芯片在 sustained tensor-core 负载下完全稳定。无热降频、无功耗削顶、无 GPU 故障。

---

二、GPU 显存（VRAM）- 物理颗粒扫描

方法: 每张卡分配 12 GB scratch buffer，写入并验证 4 种位模式：

• 全 0x00000000（零电荷）
• 全 0x3f800000（fp32 1.0，约一半位为 1）
• 全 0xAAAAAAAA（棋盘 10101010...）
• 全 0x55555555（反棋盘 01010101...）

每次完整写入 + 全显存读取校验。

带宽实测: 12 GB 读写一轮 ~0.1-0.2s = 约 120 GB/s，与 3090 HBM 规格一致。

Pattern	GPU 0 mismatches	GPU 1 mismatches
0x00000000	0	0
fp32 1.0	0	0
0xAAAAAAAA	0	0
0x55555555	0	0

结论: 两张卡所有显存位完全正确。无虚焊、无颗粒坏点、无相邻位干扰。

说明：测试覆盖 12/24 GB（约一半），但所有 32 个位位置都被反复读写。系统性的位错误一定会在 12 GB 样本中暴露。

---

三、Host RAM - stress-ng 压力测试

方法: stress-ng --vm 8 --vm-bytes 90% --timeout 120s --metrics-brief

8 线程同时高频读写 ~56 GB（系统 62 GB 的 90%），持续 120 秒。

指标	数值
实际运行时长	120.50 秒
bogo ops 总数	18,358,645
bogo ops/秒（real time）	152,352
bogo ops/秒（usr+sys time）	19,151
失败 stressor 数	0
跳过 stressor 数	0
metrics 可信度	完全可信

结论: 62 GB ECC-less DDR4 主机内存完全健康，cross-NUMA 内存访问无错误。

---

@coolstar 纯玩llm comfyui 没问题

@imbiplaza-ASUS

3090 是被带歪了
主要是讨论 h12d-8d 带4张5060

h12d-8d 是满载 pcie4 x16 4条
用4张5060在h12d-8d 是有 也只有 pcie4.0x8 的效果

所以4 张 5060 理论也只有pcie4x8 的速度 15.75gb
但是也是terry 说的短板
5060 bandwith 448gb
所以4张 用 llama tp4
效率可能也提高不多
用layer split 应该就更慢了 被15.75gb拖累

唯一的好处应该就是 低价钱 可以用上 27b 长上下文
效率 20-30t/s decode? 1000ts pp? 盲猜

不看未来的架构
我还是觉得 3090x2 + nvlink 是性价比 最高

把显卡算力租出去然后赚钱买r9700