https://github.com/jagsan-cyber/turboquant-rocm-llamacpp ,DFLASH+TurboQuant+AMD R9700 直接支持了,QWEN3.6 27B跑量化6,还保持256K上下文实现了。
倭寇国を滅ぼす
@倭寇国を滅ぼす
-
交作业:X99 CD3+E5 2666 +128G DDR3 + AMD AI Pro 9700,成功安装ubuntu,等不及跟大家分享。后续再更新 -
交作业:X99 CD3+E5 2666 +128G DDR3 + AMD AI Pro 9700,成功安装ubuntu,等不及跟大家分享。后续再更新哇咔咔,我打算X79+2667 V22+128G+R97002(未购入),一张跑QWEN3.6 27B一张跑wan2.2,但是一直不清楚,QWEN3.6 27B,输入速度怎么看,X79和X99差距对推理提升不是很大,就没升级X99的动力了。部署QWEN3.6 27B的问题在于,kvcache能不能打满256B,并且能支持几个并发,很关心,选MTP还是DFLASH+googeKV缓存技术。