NInfer 的衍生引擎 Infernix （致敬Strata引擎)有人要去試的嗎？
-
NInfer 的衍生引擎 Infernix 已經跑起來了，而且碾過 Strata
Wallawalla47/Infernix (https://github.com/Wallawalla47/Infernix)（從 NInfer fork，讀 .ninfer + 自有 .infernix artifact），單張 5090 跑 full 512-expert QFN NVFP4，直接吃 NVIDIA 官方 checkpoint bit-exact：TTFT 平均
• Strata: 32.9s
• Infernix: 5.9s (−82%)Decode（單流）
• Strata: 86 t/s
• Infernix: 125 t/s (+45%)Prefill（無快取）
• Strata: 1,423 t/s
• Infernix: 5,879 t/s (4.1×)PPL
• Strata: 4.844
• Infernix: 4.654（品質更好） -
請AI跑，順手測的
Model: QFN NVFP4
CPU; 9950x3D
RAM:64G(原版建議96G)
GPU:5090單卡
MTP:4
C=1
32K
• 實際 prompt tok: 25,290
• prefill: 4,390 t/s
• decode: 70.9 t/s
• TTFT: 5.8s
• MTP accept: 21/21 (100%)64K
• 實際 prompt tok: 50,436
• prefill: 4,670 t/s
• decode: 64.0 t/s
• TTFT: 14.1s
• MTP accept: 20/21128K
• 實際 prompt tok: 100,740
• prefill: 5,310 t/s
• decode: 91.3 t/s
• TTFT: 19.0s
• MTP accept: 23/27160K
• 實際 prompt tok: 125,882
• prefill: 6,050 t/s
• decode: 126.9 t/s
• TTFT: 20.9s
• MTP accept: 21/22 -
，
D David Chen 引用了 此主题
-
@david-chen 我看了下，这个貌似只支持5090？
-
-
-
-
