好康來了：12G/16G顯存卡的 甜點小模型 ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF

[perter]

12G显存没法使用MTP，开了MTP，最多只能开8K上下文，不然速度反而更慢。不如下载没有MTP的版本。
最佳配置Qwen3.8-27B-GSQ-RCO-IQ3_XXS.gguf 32K上下文。

[kos or]

@perter

KV Cache 能量化到Q4嗎？ Hermes 需要至少64k ctx_size

我覺得這麼模型還不錯 如果有閒置的顯卡 單卡佈置一個24/7系統管理型AI 可行

[kos or]

漲價前, 我忘了買 RTX5060 Ti 16GB (448 GB/s), 否則這張卡當基礎設施管理型Agent不錯
AMD Radeon RX 9060 XT 16 GB (322.3 GB/s) 頻寬小了點 不過相對便宜 也有16GB

[perter]

@kos-or
我的5070 12G就算用Qwen3.8-27B-GSQ-RCO-IQ2_S-mtp.gguf KV用Q4，也开不了64K。32K的话30t/s , 64K就掉到10t/s了。32K可以用deepseek harness。

[kos or]

@perter said:

deepseek harness

Deepseek Harness 有足夠的功能可以平替Hermes Agent嗎？ 我還以為是一般編程Coding Agent.

[terry]

16G VRAM : Qwen3.8-27B-GSQ-RCO-IQ3_S-mtp.gguf 12 GB (MTP) 这玩意真的能用吗？

[kos or]

@terry

它是蹭 Qwen3.8-27B, 我覺得值得優化 讓它做基本的日常系統維護工作
ISTA-DASLab Qwen3.8-27B-GSQ-RCO
有網友說 不要使用MTP版本, K Q8, V Q5 會更聰明 有更大的上下文

[rori]

我試過Qwen3.8-27B-GSQ-RCO-IQ3_S-mtp.gguf, 它有個問題,就是不能關閉思考模式, 而且比我正在用的慢10token.

我在用的模型:
https://huggingface.co/Bucoid/Qwen3.8-27B-IQ4-XS-MTP-16GB-VRAM-GGUF

配合kvmem可以讓16GB的卡有比較長的上下文:
https://github.com/kvmem/kvmem-llama.cpp

[perter]

@terry
目前热门的几个量化小模型测试下来，还是GSQ比较靠谱，和Qwen3.8-27B-UD-Q4_K_M.gguf差别不大。
ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF
ukisai/Swift-Qwen3.8-27B-GGUF
prism-ml/Ternary-Bonsai-2-27B-gguf

[perter]

@rori 新版的llama.cpp可以直接关闭思考。

[kos or]

@perter said:

目前热门的几个量化小模型测试下来，还是GSQ比较靠谱

我之前在測試比較 GSQ IQ2_S 和 IQ3_S 想要找一個速度夠快 Agent使用又靠譜的
IQ2, IQ3 都蠻強悍的, IQ2 是落後IQ3 四個點 4%

[rori]

@perter

我再試了一下2個模型。
A: Qwen3.8-27B-GSQ-RCO-IQ3_XXS-mtp
B: Qwen3.8-27B-GSQ-RCO-IQ3_S-mtp

用llamacpp webui:
A: 可以關
B: 可以關

用dsh 0.1.7-rc.1:
A: 可以關
B: 不能關

[imbiplaza ASUS]

我觉得无论如何，一定要把模型投入去生产线里，才可以看到是不是真的做得出一样事情出来。。

最近用ghidra 解码一个东西，花了40多小时。。。

任务完成

看着显卡连续两天两夜full load, 专业卡就是一个字，稳

这个一周我叫dsh 利用ghidra 解压了所有东西，消耗了1900亿token

[kos or]

@imbiplaza-ASUS said:

显卡连续两天两夜full load, 专业卡就是一个字，稳

快四億的tokens
ghidra 解碼後 能做什麼用途呢？免費使用的意思嗎？

剛看到國外網友 用Qwn3.8-Flash-Next 花了250K 上下文 寫了一個Patch 可以免費使用 IDM下載器

[imbiplaza ASUS]

@kos-or

patch 这种东西，不用出到qwen3.8的，cheat engine 直接找出位置改成全部true 就可以了,我很久不玩这种了。。。。

ghrida可以挖开内容，寻找解码软件的加密方程式

[kos or]

@imbiplaza-ASUS said:

两天两夜full load, 专业卡就是一个字，稳

改天我也要把我的遊戲雙卡 RTX 5070 Ti 上點壓力

[perter]

@rori
llama-server.exe 启动命令里追加下面的参数看看

--reasoning off  --reasoning-budget 0

[David Chen]

@kos-or
IDM是算同一時間上去的台數，你可以安裝在無限的電腦上，只要保證同一時間只有一台在用
幾年前我買一個終身版，用到現在，只能說值得

唯一缺點是它沒有支援linux 或是 MacOS的版本，甚為可惜

[kos or]

@David-Chen

對呀 IDM 蠻好用的, 或許 可以請Qwen 幫你模仿一個app , 反正free tokens
未來或許是一個free apps 的時代