https://github.com/NVIDIA/spark-local-inference

五项核心技术优势

① 预编译 CUDA Graph，减少推理运行时开销

PyTorch 负责提前编译、自动调优和 CUDA Graph Capture，Rust 运行时 Helios 直接执行预先生成的 GPU 程序，无须在每次推理时经过 Python 模型执行流程。

主要价值是减少 CPU 调度与 GPU 提交间隙，提高执行稳定性，特别适合低并发推理。
GitHub+1

② 完整上下文状态缓存，而不只是 KV Cache

Flare 的设计把 KV Cache、GDN/KDA 循环状态、部分页面以及推测解码状态纳入统一管理。

这意味着长对话恢复、共享前缀、Agent 分支及重复工具调用能够复用更多计算状态。Selene 进一步探索 GPU、RAM 和磁盘的分层缓存，但部分 Offload 路径仍需单独验证。
GitHub+1

③ GPU 内完成 MTP / DSpark 推测解码

支持 Qwen、GLM 的 MTP 和 DeepSeek 的 DSpark。候选生成、验证和状态提交可以组合在预编译 GPU 执行流程中，减少 CPU-GPU 往返。

在候选 Token 接受率较高时，有机会显著改善 Decode 速度；实际增益仍受模型、精度及批量影响。
GitHub

④ 针对 MoE 模型优化显存与访存

使用 Blackwell 原生 NVFP4/MXFP8、FlashInfer/b12x 融合算子和压缩 Scale，并支持把 PLE、Engram 等大型查找表放在主机内存或磁盘中，按需向 GPU 传递所需行。

对 DeepSeek V4.1、Qwen3.8 Flash 等模型尤其有价值，有望减少 GPU 侧存储和数据搬运，但缓存未命中时仍会产生额外延迟。
GitHub+1

⑤ 专用模型优化与多 GPU 执行

Flare 为特定模型建立独立 Recipe，针对注意力、MoE、循环状态、推测解码进行联合优化，同时支持受支持配置下的单机 TP 和跨主机 TP。

优点是可以为特定模型深度优化，而不是强求一个通用执行路径兼容所有模型。