V100以NVFP4量化運行Strata實測 Qwen 3.8 Flash Next
-
前情提要 整台洋垃圾V100 16G雙卡
之前只測 IQ3_S。但128G DDR3 雙通道帶寬不足容量有餘，挑戰Strata 的 4bit 選項看會不會吃鱉
模型 下載 專家 RAM 全入 RAM 需 品質（vs Q8_0 同 top token） 備註 UD-IQ4_XS（Unsloth） 94 GB 55 GiB ~72 GB 88.9% 比現行 IQ3_S（87.7%） 只高一點 UD-Q4_K_XL（Unsloth） 111 GB 72 GiB ~88 GB 93.1% 4-bit 中品質最好 NVFP4（Strata GPTQ 版） 128 GB ~80 GB ~80 GB 92.09% V100 無 FP4 tensor core，走 8-bit 精度路徑 NVFP4-NVIDIA 128 GB ~80 GB ~80 GB — 純 round，品質低於上面 NVFP4-QAD（NVIDIA 重訓） 102 GB +110 GB 盤 ~80 GB ~80 GB — 短 prompt 略快；要在本機轉 pack（20–40 分鐘） 玩個騷一點的 Volta裝逼成Blackwell挑戰NVFP4
為啥能玩?有鑑於ninfer推論引擎之前社群就可以在V100 32G跑起NVFP4的27B模型了
NVFP4 在 V100 上跑得起來，而且不需要 FP8/FP4 硬體——NVFP4 的路徑根本不用：NVFP4 （V100 sm_70 + E5-2686 v4）的支援狀況
路徑 V100 支援 機制 Decode 
引擎自己的 q8_1 kernel 軟體解碼 UE4M3/E2M1，無 CUDA 專屬 intrinsics，任何架構都行 CPU 專家 E5 v4 明確在清單：走 nvfp4_avx2.cpp的 256-bit AVX2 lane，與 ggml-cpu 逐位元相等（無 AVX-512 只慢 ~10%/core，但 pool 是 DRAM-bound，實際無差）Prefill（預設 w4a8） 但走 dp4asource 註解（prefill.cpp:1147）：「Volta (sm_70): MMQ runs on dp4a there」——int8 tensor core 的 MMQ kernel 用 ldmatrix（sm_75+），V100 改走 dp4a 路徑（V100 有 dp4a） Prefill（ STRATA_PF_WMMA=1） opt-inVolta 專屬優化：專家層改用 FP16 tensor core tiles（V100 最強的就是 FP16 TC：125 TFLOPS）；代價是 activations 變 FP16，輸出與預設路徑略有差異 --peer-deviceprefill
「not for NVFP4 experts yet」（我們用 layer split，不影響） NVFP4（Strata GPTQ 版）雙卡實測結果
硬體
項目 規格 CPU Intel Xeon E5-2686 v4 @ 2.3GHz（18C/36T，單路，max 3.0GHz，AVX2） RAM 121GB GPU 2× Tesla V100-SXM2-16GB（PHB 橋接，無 NVLink，PCIe 實測 12.0 GB/s） 顯示驅動 NVIDIA 580.173.02 磁碟 Samsung PM9A1 NVMe 1TB 軟體
項目 版本/狀態 OS Ubuntu 26.04.1 LTS，kernel 7.0.0-30-generic CUDA 12.8（ /usr/local/cuda-12.8）引擎 strata 0.1.44.1 持久化調優
項目 設定 Hugepages vm.nr_hugepages=32768（64GB，/etc/sysctl.d/99-hugepages.conf）CPU governor performance（cpufreq-performance.service，剛補 enabled）模型配置（現行 NVFP4 調優版）
項目 值 模型 Qwen3.8-Flash-Next NVFP4-GPTQ（~120GB：experts 64G + PLE-FP8 48G + dense 8G） 分卡 layer_split 24（手動，auto 的 23 較差）Expert cache auto → 3779/3680 slots/卡（hit rate ~87–90%） Prefill auto:16384（chunk 16384）Spec/MTP --spec 4 --spec-min-p 0.5KV int8， --kv-resident 20480（最低值，省 VRAM 給 expert cache）其他 --trim-stage-weights、--pipeline-windows 2、STRATA_ROUTE_TAIL_SKIP=7、auto pcie_frac 0.15、pool 17 workers效能現況：NVFP4 調優後 decode 58–65 tok/s、prefill 100k 1788 tok/s；IQ3_S decode 73–79 tok/s、prefill 100k 1884 tok/s。
Prefill 階梯（冷預填）
階段 IQ3_S NVFP4 Δ 10k 1181 1009 −15% 20k 1251 1079 −14% 50k 1876 1633 −13% 100k 1884 1788 −5% 150k 1792 1761 −2% 200k 1666 1640 −2% Decode（中位數）
prompt IQ3_S NVFP4 Δ essay 73.5 58.4 −20% code 77.9 58.6 −28% translate 79.6 62.3 −22% explain 78.1 64.6 −18% 關鍵發現
- Prefill 長上下文差距縮小（200k 只慢 2%），但短上下文慢 13–15%。
- 品質代價換算：NVFP4 92.1% vs IQ3_S 87.7% 同 top token as Q8_0——品質好 ~4.4 個百分點，但 decode 18~30%。
- 4bit模型體積比較大，導致能調度至VRAM的熱專家變少，較大比例落到DDR3雙通道內存與PCIE 3.0交換
-
如果内存空余多,是否可以扩大下面的设置,我个人体感超过10GB缓存对于某种情况下 Thinking速度会变快 当前配置文件的 args 里设置了这两个参数：
--conversation-cache-mib 4096
--conversation-cache-slots 2
意思是：Strata 最多为 2 个暂时切开的对话保留状态，缓存总量上限 4096 MiB（4 GiB）。这是总上限，不是每个槽各 4 GiB，也不代表同时运行 2 个请求。
缓存不会启动时一次性占满；在不同对话之间切换时才可能逐步使用 RAM。复用还要求提示词前缀及图片、推理模式等匹配。修改这两个值后，需要重启模型才会生效。 -
如果内存空余多,是否可以扩大下面的设置,我个人体感超过10GB缓存对于某种情况下 Thinking速度会变快 当前配置文件的 args 里设置了这两个参数：
--conversation-cache-mib 4096
--conversation-cache-slots 2
意思是：Strata 最多为 2 个暂时切开的对话保留状态，缓存总量上限 4096 MiB（4 GiB）。这是总上限，不是每个槽各 4 GiB，也不代表同时运行 2 个请求。
缓存不会启动时一次性占满；在不同对话之间切换时才可能逐步使用 RAM。复用还要求提示词前缀及图片、推理模式等匹配。修改这两个值后，需要重启模型才会生效。
