給愛折騰測試的同好兄弟們,

不是每項任務都需要使用昂貴的GPT6.0-Astra,
雖然Codex6.0 Luna 20美元的方案也用不完,
但會好奇本地小小大模型能應付得了多少工作和任務嗎？

12G/16G VRAM 顯卡長期以來苦無 可用的LLMs,
ISTA-DASLab 蹭著Qwen3.8-27B推出GSQ-RCO版本(已經有150萬次的下載量),

接上Hermes Agent 實測體感使用後, 認為以下兩個模型有潛力, 比較過後是超越Bonsai, 但Bonsai量化檔案更小 這樣比較或許不合適, 反正12GB/16GB 顯卡能用就好

Qwen3.8-27B-GSQ-RCO-IQ2_S-mtp.gguf 9.6GB (MTP)
16G VRAM : Qwen3.8-27B-GSQ-RCO-IQ3_S-mtp.gguf 12 GB (MTP)
12G VRAM : Qwen3.8-27B-GSQ-RCO-IQ3_XXS.gguf 32K上下文 (non-MTP)

ISTA-DASLab Qwen3.8-27B-GSQ-RCO 在Hermes Agent 一般場景下
體感上 我覺得可用, 在相同的“非儼僅”基本能力測試中 GSQ-RCO IQ3 比標準27B-Q4_K_M 少四個點, IQ2 則比IQ3少四個點;

已測 ：Qwen3.8-27B-GSQ-RCO
https://huggingface.co/ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF

未測：Qwen3.8-Flash-Next-GSQ-RCO
https://huggingface.co/ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUFF

未測：Qwen3.8-Flash-Next-GSQ-RCO-Coder
https://huggingface.co/ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-Coder-GGUF

網路的使用者反饋 可以參考應用場景

A: "ISTA XXS_MTP gguf 現在基本上就是我的電腦/網路管理員了。我需要用它來處理更複雜的程式碼，但到目前為止它的表現非常棒。"

B: "我也用的是5070ti，正在糾結iq4xs和iq3s哪個更好……kv q8和kv q4哪個更好也是個問題……我用的是76k的上下文，透過Hermes代理。"

C : "試試 IQ3_S 和 IQ3_XXS，如果後者也有效，那就繼續用它，速度會更快。如果將鍵值設為 q8_0/q8_0，16GB 記憶體應該可以容納大約 100K 上下文。"

D : "我不知道他們做了什麼，它只有 11.2GB 內存，但思維質量卻和 17GB 的 Dirk-Qwen3.8-27B-GGUF 4 位量化模型一樣好，所以在 90K 上下文和超過 2400萬 input token的情況下，你能得到完全相同的結果，而且我的顯卡顯卡存比它少了 6GB。因此，它是我測試過的 Qwen3.8-27B 量化模型中最好的，也是我唯一會保留用於 Qwen3.8-27B 的量化模型。" - Qwen3.8-27B-GSQ-RCO-IQ3_S-mtp.gguf tok/s 50-65

ISTA-DASLab => IST Austria Distributed Algorithms and Systems Lab
university 奧地利大學的實驗室

Deep Algorithms and Systems Lab (DASLab)
過去十年，人工智慧取得了巨大進步，在多個應用和任務領域都取得了突破性進展。然而，這種進步速度的可持續性令人質疑：訓練和部署最先進的人工智慧模型所需的運算量呈指數級增長，這可能會阻礙創新，並導致專業知識和經濟利益方面的不平等。

Alistarh 研究團隊致力於消除人工智慧普及化面臨的這些障礙，透過創建比傳統演算法效率更高的訓練和推理演算法來實現這一目標。為此，我們開發了用於學習壓縮（例如稀疏或量化）表示的新演算法，以及能夠充分利用壓縮優勢的高效系統實現方案。

論壇中也有人提過了 附上連結
@vs-studio 近无损量化 Qwen3.8-27B-GSQ-RCO-IQ3_S-mtp.gguf