楼主这个效果非常不错。看来买新不买旧非常有道理的。
J
JamesPhlao
@JamesPhlao
-
技术分享：双卡 RTX 5060Ti Blackwell 运行 vLLM 与 LM Studio 性能实测报告 -
Qwen3.6 27b FP8 260K CTX - 准备放弃了难道是魔改的L40S吗？
-
交作业， 7900XTX + Hermes Agent + Qwen3.6-27B 调优过程分享看了你的7900xtx，如果纯跑27B，我还是不入坑了。保持两张16G的羊垃圾，27B-IQ4_NL(理论上比Q4_K_M小一些，智力稳一些)， q8_0的kv-cache 256k可以跑，保险一些224k 240k 加mtp一次吐出8k左右能稳定40-50 t/s。 楼主的单卡24可以考虑折腾dflash，据说速度最高可以10倍。