我用 5060 ti 16G 跑 Qwen3.8-27B-UD-IQ4_XS (Unsloth Dynamic 3.0)，感覺不弱智還挺不錯，試過單次請求使用了64k tokens還沒OOM，Prefill 576 t/s，平均速度有 41 t/s
G
gwager
@gwager
-
Qwen3.8-27B 量化全格式橫評：從 IQ2_XXS 到 Q6_K，14 種格式誰才是甜點？ -
RTX 5070 Ti 16GB 跑 Qwen3.8-27B：16G 卡量化選擇、啟動配置與基準數據 -
16GB显存极限挑战：RTX 5070 Ti 本地部署 Qwen3.6-27B (Q4) 调优指南与实测报告要不試試跑專為16GB VRAM搞出來的Q4 XS版本，能夠完整塞進VRAM裡，犧牲些微智力換取速度，速度應可翻兩三倍吧！
-
我是64G内存 5070t 16Gi显卡 Windows10，Qwen3.6-27B MTP优化问题LLM讨论区裡有篇「大模型16G卡的春天」，用Qwen3.6-27B-i1-IQ4_XS.gguf以ik_llama.cpp加载，5060ti單卡能跑50k上下文，速度25-27t/s，你5070ti或許真有機會能到50t/s的速度。
-
平民AI硬件参数对比忘記在哪找到的截圖
