剩余 VRAM 不足以支持满 64K 的 KV cache
KV cache 做 TurboQuant 量化，看你的配置應該可以放到 256K context
C
Chang Ching-Chun
@Chang Ching-Chun
-
本地大模型部署记录：Qwen3.6-27B MTP 在双 7900 XTX 上的推理优化 -
本地大模型部署记录：Qwen3.6-27B MTP 在双 7900 XTX 上的推理优化感謝大大的測試分享，好人一生平安
-
M5pro 64G LLM性能参考.感謝大大無私的分享！
我有在猶豫要不要等 MacStudio M5Ultra，不過就現在看起來 CP 值可能不太高
我有看國外 YT 跑 Qwen-3.6-27B 4bit 在 MBP M5Max 128GB 上，TG 大概就是 23 t/s, PP 忘記多少，就最近觀看的數據相比於 7900XTX, 距離是被甩開的，就再等看看 MacStudio M5Ultra 出來的表現囉～
總之，謝謝大大分享，給我們這實用的數據 -
Lucebox DFlash + PFlash 编译与部署指南 Qwen3.6-27B 方便抄作业 (Linux)感謝大大無私分享，DFlash 概念很酷，跟 Pyramid 算法很像，更有效發揮顯卡效能！
另外想請問，DFlash 跟 MTP 不能混著用對吧？感覺是相互排斥的 -
部署llm用于写代码，构建本地项目感謝大大，數據非常詳盡
-
分享自己的經驗 # 7900 XTX 本地 LLM 優化實測報告（Qwen3.6-27B）感謝大大無私分享
-
7900XTX + llama.cpp Qwen3.6 27B TurboQuant + MTP 测试结果分享感謝大神分享！好人一生平安