前情提要 整台洋垃圾V100 16G雙卡

之前只測 IQ3_S。但128G DDR3 雙通道帶寬不足容量有餘，挑戰Strata 的 4bit 選項看會不會吃鱉

模型	下載	專家 RAM	全入 RAM 需	品質（vs Q8_0 同 top token）	備註
UD-IQ4_XS（Unsloth）	94 GB	55 GiB	~72 GB	88.9%	比現行 IQ3_S（87.7%） 只高一點
UD-Q4_K_XL（Unsloth）	111 GB	72 GiB	~88 GB	93.1%	4-bit 中品質最好
NVFP4（Strata GPTQ 版）	128 GB	~80 GB	~80 GB	92.09%	V100 無 FP4 tensor core，走 8-bit 精度路徑
NVFP4-NVIDIA	128 GB	~80 GB	~80 GB	—	純 round，品質低於上面
NVFP4-QAD（NVIDIA 重訓）	102 GB +110 GB 盤	~80 GB	~80 GB	—	短 prompt 略快；要在本機轉 pack（20–40 分鐘）

玩個騷一點的 Volta裝逼成Blackwell挑戰NVFP4

為啥能玩?有鑑於ninfer推論引擎之前社群就可以在V100 32G跑起NVFP4的27B模型了
NVFP4 在 V100 上跑得起來，而且不需要 FP8/FP4 硬體——NVFP4 的路徑根本不用：

NVFP4 （V100 sm_70 + E5-2686 v4）的支援狀況

路徑	V100 支援	機制
Decode		引擎自己的 q8_1 kernel 軟體解碼 UE4M3/E2M1，無 CUDA 專屬 intrinsics，任何架構都行
CPU 專家		E5 v4 明確在清單：走 nvfp4_avx2.cpp 的 256-bit AVX2 lane，與 ggml-cpu 逐位元相等（無 AVX-512 只慢 ~10%/core，但 pool 是 DRAM-bound，實際無差）
Prefill（預設 w4a8）	但走 dp4a	source 註解（prefill.cpp:1147）：「Volta (sm_70): MMQ runs on dp4a there」——int8 tensor core 的 MMQ kernel 用 ldmatrix（sm_75+），V100 改走 dp4a 路徑（V100 有 dp4a）
Prefill（STRATA_PF_WMMA=1）	opt-in	Volta 專屬優化：專家層改用 FP16 tensor core tiles（V100 最強的就是 FP16 TC：125 TFLOPS）；代價是 activations 變 FP16，輸出與預設路徑略有差異
--peer-device prefill		「not for NVFP4 experts yet」（我們用 layer split，不影響）

NVFP4（Strata GPTQ 版）雙卡實測結果

硬體

項目	規格
CPU	Intel Xeon E5-2686 v4 @ 2.3GHz（18C/36T，單路，max 3.0GHz，AVX2）
RAM	121GB
GPU	2× Tesla V100-SXM2-16GB（PHB 橋接，無 NVLink，PCIe 實測 12.0 GB/s）
顯示驅動	NVIDIA 580.173.02
磁碟	Samsung PM9A1 NVMe 1TB

軟體

項目	版本/狀態
OS	Ubuntu 26.04.1 LTS，kernel 7.0.0-30-generic
CUDA	12.8（/usr/local/cuda-12.8）
引擎	strata 0.1.44.1

持久化調優

項目	設定
Hugepages	vm.nr_hugepages=32768（64GB，/etc/sysctl.d/99-hugepages.conf）
CPU governor	performance（cpufreq-performance.service，剛補 enabled）

模型配置（現行 NVFP4 調優版）

項目	值
模型	Qwen3.8-Flash-Next NVFP4-GPTQ（~120GB：experts 64G + PLE-FP8 48G + dense 8G）
分卡	layer_split 24（手動，auto 的 23 較差）
Expert cache	auto → 3779/3680 slots/卡（hit rate ~87–90%）
Prefill	auto:16384（chunk 16384）
Spec/MTP	--spec 4 --spec-min-p 0.5
KV	int8，--kv-resident 20480（最低值，省 VRAM 給 expert cache）
其他	--trim-stage-weights、--pipeline-windows 2、STRATA_ROUTE_TAIL_SKIP=7、auto pcie_frac 0.15、pool 17 workers

效能現況：NVFP4 調優後 decode 58–65 tok/s、prefill 100k 1788 tok/s；IQ3_S decode 73–79 tok/s、prefill 100k 1884 tok/s。

Prefill 階梯（冷預填）

階段	IQ3_S	NVFP4	Δ
10k	1181	1009	−15%
20k	1251	1079	−14%
50k	1876	1633	−13%
100k	1884	1788	−5%
150k	1792	1761	−2%
200k	1666	1640	−2%

Decode（中位數）

prompt	IQ3_S	NVFP4	Δ
essay	73.5	58.4	−20%
code	77.9	58.6	−28%
translate	79.6	62.3	−22%
explain	78.1	64.6	−18%

關鍵發現

1. Prefill 長上下文差距縮小（200k 只慢 2%），但短上下文慢 13–15%。
2. 品質代價換算：NVFP4 92.1% vs IQ3_S 87.7% 同 top token as Q8_0——品質好 ~4.4 個百分點，但 decode 18~30%。
3. 4bit模型體積比較大，導致能調度至VRAM的熱專家變少，較大比例落到DDR3雙通道內存與PCIE 3.0交換