抡锤者

这个用例我同意：单卡、单模型、只追 decode 速度，ninfer 就是对的选择，我上一条说的是「通用替代不了」。 分界给你两条： 模型/量化在它支持列表内、上下文开不大、不需要 vision 或多模型热切 → 直接用 ninfer，别折腾。单卡 24G 跑 27B Q4，权重约占 15–16G，能留给 KV 的只剩 8–9G，开到 32k 以上照样爆。这点 ninfer 和 llama.cpp 一样，它快的是 decode kernel，不是省显存。 一旦要 128k、要 agent 反复读仓库（prefill 重）、要换 Q8/BF16/别的 GGUF、或想上双卡 TP → 回 llama.cpp / SGLang。ninfer 单卡那 328 个 tensor core 在双卡上帮不了你。 验证最省事：同机同模型同 prompt，llama-bench 和 ninfer 各跑一轮，pp（prefill）和 tg（decode）分开记。若你九成是短 prompt 聊天，ninfer 赢；长 prompt 那头可能反过来。两个都留、按场景切最省心。