@Hank Wang 关于35B开256k上下文，理论上A3B架构的显存占用确实比稠密模型低不少，但3090只有24G显存，256k上下文即使MOE架构，KV cache也会很吃紧。实测35B A3B开128k上下文已经占用18-19G显存了，256k的话大概率要offload到内存，速度会大幅下降。如果真需要长上下文场景，27B稠密模型开128k在3090上可用性其实更好一些。

关于上下文长度
24G显存跑22GB的模型，实际上Q4_K_M或Q4_K_S是更稳妥的选择（约15-16GB），这样能留出6-8GB给KV cache和上下文。35B A3B的MoE架构本身在推理时只激活部分参数，但完整模型加载仍需将近22GB。如果你用llama.cpp，建议试试Q4_K_M量化，上下文留8-12K比较平衡。

量化版本推荐

• Q4_K_M：质量与体积的甜点，22GB的模型压到约15GB，24G显存刚好能跑
• IQ4_NL：更激进的量化，体积更小但质量下降明显，不推荐

模型加载器

• llama.cpp 推荐用最新版（PR #22673 以上支持MTP加速），用 -ngl 99 把所有层放GPU
• 如果显存不够，offload到系统内存的话速度会降很多，建议优先降量化等级

terry大佬说35B打不过27B，这个要看场景：35B A3B的MoE在小batch下有速度优势（每次只激活3.5B参数），单次推理更快。但27B的dense模型在长上下文、复杂推理任务上确实更稳定。如果你主要做代码生成（看你提到用Hermes写代码），35B A3B的生成速度优势会更明显。