要不試試跑專為16GB VRAM搞出來的Q4 XS版本，能夠完整塞進VRAM裡，犧牲些微智力換取速度，速度應可翻兩三倍吧！
G
gwager
@gwager
-
16GB显存极限挑战：RTX 5070 Ti 本地部署 Qwen3.6-27B (Q4) 调优指南与实测报告 -
我是64G内存 5070t 16Gi显卡 Windows10，Qwen3.6-27B MTP优化问题LLM讨论区裡有篇「大模型16G卡的春天」，用Qwen3.6-27B-i1-IQ4_XS.gguf以ik_llama.cpp加载，5060ti單卡能跑50k上下文，速度25-27t/s，你5070ti或許真有機會能到50t/s的速度。
-
平民AI硬件参数对比忘記在哪找到的截圖
