好康來了：12G/16G顯存卡的 甜點小模型 ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF
-
給愛折騰測試的同好兄弟們,
不是每項任務都需要使用昂貴的GPT6.0-Astra,
雖然Codex6.0 Luna 20美元的方案也用不完,
但會好奇本地小小大模型能應付得了多少工作和任務嗎？12G/16G VRAM 顯卡長期以來苦無 可用的LLMs,
ISTA-DASLab 蹭著Qwen3.8-27B推出GSQ-RCO版本(已經有150萬次的下載量),接上Hermes Agent 實測體感使用後, 認為以下兩個模型有潛力, 比較過後是超越Bonsai, 但Bonsai量化檔案更小 這樣比較或許不合適, 反正12GB/16GB 顯卡能用就好
Qwen3.8-27B-GSQ-RCO-IQ2_S-mtp.gguf 9.6GB (MTP)
16G VRAM : Qwen3.8-27B-GSQ-RCO-IQ3_S-mtp.gguf 12 GB (MTP)
12G VRAM : Qwen3.8-27B-GSQ-RCO-IQ3_XXS.gguf 32K上下文 (non-MTP)ISTA-DASLab Qwen3.8-27B-GSQ-RCO 在Hermes Agent 一般場景下
體感上 我覺得可用, 在相同的“非儼僅”基本能力測試中 GSQ-RCO IQ3 比標準27B-Q4_K_M 少四個點, IQ2 則比IQ3少四個點;已測 ：Qwen3.8-27B-GSQ-RCO
https://huggingface.co/ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF未測：Qwen3.8-Flash-Next-GSQ-RCO
https://huggingface.co/ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUFF未測：Qwen3.8-Flash-Next-GSQ-RCO-Coder
https://huggingface.co/ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-Coder-GGUF網路的使用者反饋 可以參考應用場景
A: "ISTA XXS_MTP gguf 現在基本上就是我的電腦/網路管理員了。我需要用它來處理更複雜的程式碼，但到目前為止它的表現非常棒。"
B: "我也用的是5070ti，正在糾結iq4xs和iq3s哪個更好……kv q8和kv q4哪個更好也是個問題……我用的是76k的上下文，透過Hermes代理。"
C : "試試 IQ3_S 和 IQ3_XXS，如果後者也有效，那就繼續用它，速度會更快。如果將鍵值設為 q8_0/q8_0，16GB 記憶體應該可以容納大約 100K 上下文。"
D : "我不知道他們做了什麼，它只有 11.2GB 內存，但思維質量卻和 17GB 的 Dirk-Qwen3.8-27B-GGUF 4 位量化模型一樣好，所以在 90K 上下文和超過 2400萬 input token的情況下，你能得到完全相同的結果，而且我的顯卡顯卡存比它少了 6GB。因此，它是我測試過的 Qwen3.8-27B 量化模型中最好的，也是我唯一會保留用於 Qwen3.8-27B 的量化模型。" - Qwen3.8-27B-GSQ-RCO-IQ3_S-mtp.gguf tok/s 50-65
ISTA-DASLab => IST Austria Distributed Algorithms and Systems Lab
university 奧地利大學的實驗室Deep Algorithms and Systems Lab (DASLab)
過去十年，人工智慧取得了巨大進步，在多個應用和任務領域都取得了突破性進展。然而，這種進步速度的可持續性令人質疑：訓練和部署最先進的人工智慧模型所需的運算量呈指數級增長，這可能會阻礙創新，並導致專業知識和經濟利益方面的不平等。Alistarh 研究團隊致力於消除人工智慧普及化面臨的這些障礙，透過創建比傳統演算法效率更高的訓練和推理演算法來實現這一目標。為此，我們開發了用於學習壓縮（例如稀疏或量化）表示的新演算法，以及能夠充分利用壓縮優勢的高效系統實現方案。
論壇中也有人提過了 附上連結
@vs-studio 近无损量化 Qwen3.8-27B-GSQ-RCO-IQ3_S-mtp.gguf -
-
12G显存没法使用MTP，开了MTP，最多只能开8K上下文，不然速度反而更慢。不如下载没有MTP的版本。
最佳配置Qwen3.8-27B-GSQ-RCO-IQ3_XXS.gguf 32K上下文。 -
-
-
@kos-or
我的5070 12G就算用Qwen3.8-27B-GSQ-RCO-IQ2_S-mtp.gguf KV用Q4，也开不了64K。32K的话30t/s , 64K就掉到10t/s了。32K可以用deepseek harness。 -
-
-
我試過Qwen3.8-27B-GSQ-RCO-IQ3_S-mtp.gguf, 它有個問題,就是不能關閉思考模式, 而且比我正在用的慢10token.
我在用的模型:
https://huggingface.co/Bucoid/Qwen3.8-27B-IQ4-XS-MTP-16GB-VRAM-GGUF配合kvmem可以讓16GB的卡有比較長的上下文:
https://github.com/kvmem/kvmem-llama.cpp -
-
我試過Qwen3.8-27B-GSQ-RCO-IQ3_S-mtp.gguf, 它有個問題,就是不能關閉思考模式, 而且比我正在用的慢10token.
我在用的模型:
https://huggingface.co/Bucoid/Qwen3.8-27B-IQ4-XS-MTP-16GB-VRAM-GGUF配合kvmem可以讓16GB的卡有比較長的上下文:
https://github.com/kvmem/kvmem-llama.cpp -
@terry
目前热门的几个量化小模型测试下来，还是GSQ比较靠谱，和Qwen3.8-27B-UD-Q4_K_M.gguf差别不大。
ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF
ukisai/Swift-Qwen3.8-27B-GGUF
prism-ml/Ternary-Bonsai-2-27B-gguf -
-
-
我觉得无论如何，一定要把模型投入去生产线里，才可以看到是不是真的做得出一样事情出来。。
最近用ghidra 解码一个东西，花了40多小时。。。
任务完成
看着显卡连续两天两夜full load, 专业卡就是一个字，稳
这个一周我叫dsh 利用ghidra 解压了所有东西，消耗了1900亿token
-
显卡连续两天两夜full load, 专业卡就是一个字，稳
快四億的tokens
ghidra 解碼後 能做什麼用途呢？免費使用的意思嗎？剛看到國外網友 用Qwn3.8-Flash-Next 花了250K 上下文 寫了一個Patch 可以免費使用 IDM下載器
-
我觉得无论如何，一定要把模型投入去生产线里，才可以看到是不是真的做得出一样事情出来。。
最近用ghidra 解码一个东西，花了40多小时。。。
任务完成
看着显卡连续两天两夜full load, 专业卡就是一个字，稳
这个一周我叫dsh 利用ghidra 解压了所有东西，消耗了1900亿token
-
我再試了一下2個模型。
A: Qwen3.8-27B-GSQ-RCO-IQ3_XXS-mtp
B: Qwen3.8-27B-GSQ-RCO-IQ3_S-mtp用llamacpp webui:
A: 可以關
B: 可以關用dsh 0.1.7-rc.1:
A: 可以關
B: 不能關 -
显卡连续两天两夜full load, 专业卡就是一个字，稳
快四億的tokens
ghidra 解碼後 能做什麼用途呢？免費使用的意思嗎？剛看到國外網友 用Qwn3.8-Flash-Next 花了250K 上下文 寫了一個Patch 可以免費使用 IDM下載器
-
@kos-or
IDM是算同一時間上去的台數，你可以安裝在無限的電腦上，只要保證同一時間只有一台在用
幾年前我買一個終身版，用到現在，只能說值得唯一缺點是它沒有支援linux 或是 MacOS的版本，甚為可惜
