@demo 记得是通过加载mmproj 启用视觉， 但是mmproj 和MTP没办法同时开，后面没用这个模型。
推荐vllm跑https://huggingface.co/llmfan46/Qwen3.6-27B-uncensored-heretic-v2-GPTQ-Int4 ， 这个有视觉， 我一直跑着，很稳定。
4080 32G启动参数：

exec /data/vllm-env/bin/vllm serve /data/models/heretic-gptq-int4 \
    --served-model-name 4080 \
    --port 8002 \
    --max-model-len 262144 \
    --max-num-seqs 1 \
    --gpu-memory-utilization 0.96 \
    --enable-prefix-caching \
    --kv-cache-dtype fp8 \
    --trust-remote-code \
    --reasoning-parser qwen3 \
    --enable-auto-tool-choice \
    --tool-call-parser qwen3_coder \
    --speculative-config '{"method":"mtp","num_speculative_tokens":3}'

@jenaflex 转接卡上没有芯片，就是把PCIEx16分成4份直通出四个oculink口。用的BIOS的Bifurcation。主机是某宝入的二手HP Z4 G4 Workstation，支持PCIE拆分。

@terry 是的， PCIE x16的槽拆分成x4x4x4x4，PICE扩展卡能接4个显卡坞。

@blackjack 不在日本。图片是EDIX参展时拍的，估计大家喜欢看，就放上去了。

@blackjack 图片更新了

@blackjack 明天找时间上图

两块显卡：【RTX 4080 32GB】 和 【RTX 4090 48GB】， 都接的显卡坞（x4@PCI-E 3）。最近完整看完了“老特抡锤者”频道的相关视频，也参考了论坛里各位大神的经验分享，随后针对不同模型、量化版本、上下文长度以及MTP 参数进行了多轮测试。把测试结果整理出来，供大家参考。

【20260529更新_2】

4090 / 4080 当前生产配置（亮点：Uncensored 模型驱动Hermes，什么活都不拒绝）

参数	4090	4080
GPU	RTX 4090 48GB (Ada)	RTX 4080 32GB (Ada)
框架	vLLM 0.21.0	vLLM 0.21.0
Service	vllm-4090-27b-fp8	vllm-4080-heretic-gptq
模型	官方 Qwen3.6-27B-FP8	llmfan46 Heretic v2 GPTQ-Int4
客户端用途	Claude Code	Hermes
Censored		uncensored (MPOA)
量化	FP8 E4M3 block 128×128	GPTQ-Int4 (Marlin)
KV dtype	fp8	fp8
max-model-len	262144 (256K)	262144 (256K)
max-num-seqs	1	1
gpu-mem-util	0.97	0.96
MTP s	5	3
tool-call-parser	qwen3_coder	qwen3_coder
reasoning-parser	qwen3	qwen3
prefix-caching
vision/video	内嵌	内嵌
bench tok/s	54.2	62.7
bench accept	54%	61%
实际场景	73-76 tok/s（高命中 99% accept）	接近一致

【20260529更新_1】

【先上图，证明不是云】

【平台信息】

类别	项	配置
机型	型号	HP Z4 G4 Workstation
	电源	750 W
CPU	型号	Intel Xeon W-2133
	主频	3.6 GHz
	核 / 线程	6 核 / 12 线程
内存	类型	DDR4
	容量	32 GB
GPU 0	型号	RTX 4090（魔改）
	显存	48 GB
	用途	主推理
GPU 1	型号	RTX 4080（魔改）
	显存	32 GB
	用途	副推理
GPU 2	型号	RTX 2080 Ti（魔改）
	显存	22 GB
	用途	ComfyUI
显存合计		102 GB
系统盘	类型	NVMe M.2 SSD
	容量	256 GB
数据盘	挂载点	/data
	容量	458 GB
系统	OS	Ubuntu 24.04 LTS
	内核	Linux 6.17.0-29-generic

【4090 token 性能历史】

时间	模型 + 后端	量化	ctx	MTP	视觉	uncensored	单流 tok/s	并发 tok/s
2026-05-17	Qwen3.6-27B-FP8 vLLM	FP8 + FP8 KV	256K	s=3			37	—
2026-05-21	QuantTrio AWQ Dense vLLM	AWQ INT4 + FP8 KV	256K	s=3			81	208 (并发3)
2026-05-23 中	QuantTrio AWQ-6Bit vLLM	AWQ 6-bit	256K	s=3			68	124 (并发2, 反慢)
2026-05-23 中	QuantTrio 35B-A3B vLLM	AWQ INT4	256K	s=3			107	351 (并发5)
2026-05-23 晚	35B-A3B 无 MTP vLLM	AWQ INT4 + batched=16384	256K	关			145	337 (并发5)
2026-05-24	Qwen3.6-27B-FP8 vLLM	FP8 + FP8 KV + prefix-cache	256K	s=5			60.8	—
2026-05-24	Qwen3.6-27B-FP8 vLLM	同上	256K	s=7			63.8	—
2026-05-24	Qwen3.6-27B-FP8 vLLM	同上	256K	s=8			64.0（边际死）	—
2026-05-25	Heretic Q8 llama.cpp（试）	Q8 + q8_0 KV	256K	n=3			63.4	—
2026-05-25	Heretic Q8 llama.cpp（试）	同上	256K	n=5			66.5	—
2026-05-25	Heretic GPTQ-Int4 vLLM（失败）	GPTQ-Int4	256K	s=3	—		21（accept 1.25% broken）	—
2026-05-25	Heretic Q8 llama.cpp 当前 default	Q8 + q8_0 KV	256K	n=7			68.7	—

【4080 token 性能历史】

时间	模型 + 后端	量化	ctx	MTP	视觉	uncensored	单流 tok/s
2026-05-09	QuantTrio AWQ Dense vLLM 0.20.1	AWQ INT4 + FP8 KV	128K	s=3			62.9
2026-05-11	同上 vLLM 0.20.2（regression）	AWQ INT4	128K	s=2			45.6
2026-05-22	HauhauCS 27B Aggressive llama.cpp	Q4_K_P GGUF	256K	无（mmproj 互斥）			32
2026-05-23	QuantTrio 35B-A3B vLLM	AWQ INT4 + FP8 KV + seqs=1	256K	无			106
2026-05-23	同上	同上	256K	s=1			77
2026-05-23	同上	同上	256K	s=2			93
2026-05-23	QuantTrio 35B-A3B vLLM	同上	256K	s=3			117
2026-05-24	SummonGov 27B-MTP graft Q6_K_P	GGUF + q8 KV	64K	n=1			40.1
2026-05-24	同上	同上	64K	n=2			50.1
2026-05-24	同上	同上	64K	n=3			55.7
2026-05-24	同上	同上	64K	n=5			58.9
2026-05-24	同上	同上	64K	n=7			55.3
2026-05-24	SummonGov 27B-MTP Q4_K_P	GGUF + q8 KV	64K	n=3			20.6（accept 2% broken）
2026-05-24	同上	同上	64K	n=5			62.5
2026-05-24	同上	同上	64K	n=7			56.8
2026-05-24	llmfan46 Heretic Q6_K llama.cpp	Q6_K + q8 KV	64K	n=3			57.0
2026-05-24	同上	同上	64K	n=5			61.6
2026-05-24	同上	同上	64K	n=7			56.5
2026-05-24	同上 q8_0 KV @ 256K	Q6_K + q8 KV	256K	n=5			OOM 差 836 MiB
2026-05-24	同上 q5_1 KV @ 256K	Q6_K + q5_1 KV	256K	n=5			慢（flash-attn 不兼容）
2026-05-24	同上 q5_0 KV @ 256K	Q6_K + q5_0 KV	256K	n=5			12（slow path）
2026-05-24	同上 iq4_nl KV @ 256K	Q6_K + iq4_nl KV	256K	n=5			26（slow path）
2026-05-24	Heretic GPTQ-Int4 vLLM（失败）	GPTQ INT4	256K	s=3	—		21（accept 1.25%）
2026-05-24	llmfan46 Heretic Q6_K llama.cpp 当前 default	Q6_K + q4_0 KV	256K	n=5			58-62

这个太棒了，先顶再抄作业。