权重放哪

• Flash-Next 走 MoE 路线，社区实测多停在 IQ2/IQ3 档：IQ2_XXS 约 8–9G、IQ3_S 约 12–13G（具体以下载页文件大小为准）。
• 4060Ti 16G 能把 IQ2/IQ3 权重整块吃进显存，速度最好；放不下的部分靠 Strata/llama.cpp 卸载到内存，32G DDR5 装权重够，但 KV 一长就顶满。

虚拟内存 / 硬盘

• 建议尽量别依赖虚拟内存。mmap 读模型是只读、走 page cache，对 SSD 基本无害；真正伤盘的是内存爆了开始 swap——会疯狂写盘且速度断崖。
• 32G 内存想上 256K 上下文不现实，先把上下文压到 32–64K；KV 用 q8_0 或 q4_0。
• 一定要开页面文件就放 NVMe、给足容量，但把它当兜底而不是常态。

建议顺序

1. 先下 IQ2_XXS 试跑，能出字、量一组 pp/tg 再谈优化；
2. 上下文从 32K 起，观察内存占用；
3. 这套机最值的一步是内存加到 64G，成本不高、收益最直接；
4. 别让 ComfyUI 和它同时抢内存显存。

参考：论坛有人用 10G 卡全内存跑同量级 30B-A3B 也能出字，只是慢。你这套属于「能跑、性价比一般」，别期待高 t/s。