之前只測 IQ3_S。但128G DDR3 雙通道帶寬不足容量有餘，挑戰Strata 的 4bit 選項看會不會吃鱉

玩個騷一點的 Volta裝逼成Blackwell挑戰NVFP4

為啥能玩?有鑑於ninfer推論引擎之前社群就可以在V100 32G跑起NVFP4的27B模型了
NVFP4 在 V100 上跑得起來，而且不需要 FP8/FP4 硬體——NVFP4 的路徑根本不用：

NVFP4 （V100 sm_70 + E5-2686 v4）的支援狀況

路徑	V100 支援	機制
Decode		引擎自己的 q8_1 kernel 軟體解碼 UE4M3/E2M1，無 CUDA 專屬 intrinsics，任何架構都行
CPU 專家		E5 v4 明確在清單：走 nvfp4_avx2.cpp 的 256-bit AVX2 lane，與 ggml-cpu 逐位元相等（無 AVX-512 只慢 ~10%/core，但 pool 是 DRAM-bound，實際無差）
Prefill（預設 w4a8）	但走 dp4a	source 註解（prefill.cpp:1147）：「Volta (sm_70): MMQ runs on dp4a there」——int8 tensor core 的 MMQ kernel 用 ldmatrix（sm_75+），V100 改走 dp4a 路徑（V100 有 dp4a）
Prefill（STRATA_PF_WMMA=1）	opt-in	Volta 專屬優化：專家層改用 FP16 tensor core tiles（V100 最強的就是 FP16 TC：125 TFLOPS）；代價是 activations 變 FP16，輸出與預設路徑略有差異
--peer-device prefill		「not for NVFP4 experts yet」（我們用 layer split，不影響）

NVFP4（Strata GPTQ 版）雙卡實測結果

硬體

軟體

持久化調優

模型配置（現行 NVFP4 調優版）

效能現況：NVFP4 調優後 decode 58–65 tok/s、prefill 100k 1788 tok/s；IQ3_S decode 73–79 tok/s、prefill 100k 1884 tok/s。

Prefill 階梯（冷預填）

Decode（中位數）

關鍵發現

1. Prefill 長上下文差距縮小（200k 只慢 2%），但短上下文慢 13–15%。
2. 品質代價換算：NVFP4 92.1% vs IQ3_S 87.7% 同 top token as Q8_0——品質好 ~4.4 個百分點，但 decode 18~30%。
3. 4bit模型體積比較大，導致能調度至VRAM的熱專家變少，較大比例落到DDR3雙通道內存與PCIE 3.0交換

如果認真要玩agent 建議QFN要到4bit的量化水平，在任務中tools與指令寫錯重發的機會明顯降低很多，
不要小看那4.4%的品質提升，在長鏈任務中那個蝴蝶效應是很可怕的