近无损量化 Qwen3.8-27B-GSQ-RCO-IQ3_S-mtp.gguf
-
近无损量化
https://huggingface.co/ISTA-DASLab/collections
Context 131072 VRAM 21GB
llama-cli -m Qwen3.8-27B-GSQ-RCO-IQ3_S-mtp.gguf -ngl 99 --spec-type draft-mtp --spec-draft-n-max 3 -c 131072
RTX3090 [ Prompt: 124.7 t/s | Generation: 56.4 t/s ]Context 65536 VRAM 17GB
llama-cli -m Qwen3.8-27B-GSQ-RCO-IQ3_S-mtp.gguf -ngl 99 --spec-type draft-mtp --spec-draft-n-max 3 -c 65536
RTX3090 [ Prompt: 131.7 t/s | Generation: 59.8 t/s ] -
近无损量化
https://huggingface.co/ISTA-DASLab/collections
Context 131072 VRAM 21GB
llama-cli -m Qwen3.8-27B-GSQ-RCO-IQ3_S-mtp.gguf -ngl 99 --spec-type draft-mtp --spec-draft-n-max 3 -c 131072
RTX3090 [ Prompt: 124.7 t/s | Generation: 56.4 t/s ]Context 65536 VRAM 17GB
llama-cli -m Qwen3.8-27B-GSQ-RCO-IQ3_S-mtp.gguf -ngl 99 --spec-type draft-mtp --spec-draft-n-max 3 -c 65536
RTX3090 [ Prompt: 131.7 t/s | Generation: 59.8 t/s ]@VS-Studio 试过了， 小显存的小卡玩玩就可以。 对大显存的来说没必要。
-
huihuiai已经出了去审查版本，还有个更小的Bonsai 系列版本只要7G不到
