新无审查版（484K）来了！Qwen3.8-Flash-Next-GSQ-RCO-abliterated-GGUF 完全支持Strata

[perter]

🧩 1. 模型简介

该版本基于官方 GSQ‑RCO 量化模型，对其中 144 个“write‑to‑residual-stream”投影张量进行了 **abliteration（拒答方向消融）**处理，移除内置安全拒答方向，使模型更自由但也更不安全。
模型仍保持原始 GSQ‑RCO 的量化结构与所有学习到的量化参数。
引用：模型拒答方向被移除，需自行提供安全审查与访问控制 。

---

🧬 2. Abliteration 做了什么？

✦ 2.1 替换的内容

• 共 144 个张量被替换，覆盖全部 48 层
• 替换来源：已存在的 abliterated 版本
• 保留：所有 GSQ 学到的量化值与 block scale
  引用：144 个目标张量被替换，其他 1079 个保持字节一致 。

✦ 2.2 替换方式

• Byte-level GGUF → GGUF tensor transplant（直接字节替换）
• 9 个专家张量需重新编码为 Q2_0，但仍使用 GSQ 学到的 block scale
  引用：未进行任何 dequantize→quantize 循环，避免新增误差 。

✦ 2.3 为什么这样做？

GSQ‑RCO 的量化值是学习得到的，重新量化会破坏其结构，因此唯一正确的 abliteration 方法是：

在量化后的 GGUF 文件中直接替换目标张量
引用：这是唯一保持 GSQ 工作的 abliteration 路径 。

---

3. 四个量化等级（Tier）与体积变化

引用：各 tier 的体积变化与状态表格 。

Tier	总大小	相比上游变化	状态
IQ3_S	83.86 GB	+0.25 GB	已构建 & 已验证
IQ3_XXS	76.14 GB	+0.30 GB	已构建 & 已验证
IQ2_XS	78.47 GB	+0.44 GB	已构建 & 已验证
Q2_0	76.82 GB	+0.40 GB	已构建 & 已验证

增加的体积主要来自：

• 96 个小张量仅存在 Q8_0 版本 → 需要提升类型
  引用：小张量导致 +0.25~0.44 GB 的体积增加 。

---

️ 4. 性能影响

• decode：104.5 tok/s → 104.4 tok/s（几乎无变化）
• prefill：略微下降 1.7%
• 专家缓存槽位：减少约 0.7%

总体性能几乎与上游一致。

---

5. Strata 引擎迁移注意事项

关键点：

• 必须重新构建 native pack
• 官方 pack 的 native_experts.txt 不能复用
• 迁移错误会导致 ArenaExpertSource
• shard 2 自动识别
• vision projector 可复用上游版本

下载地址：（不会安装的可以让AI助手帮你安装）
https://huggingface.co/SC117/Qwen3.8-Flash-Next-GSQ-RCO-abliterated-GGUF/tree/main

追加最新去审查方法 （不用重新下载权重文件）

• 安装原版（已经安装的可以跳过）
  https://github.com/Niko1221/Strata

• 下载去拒绝（Abliterated）模型文件（484K）Qwen3.8-Flash-Next-abliterated-GSQ-RCO-Strata-GGUF

• 修改配置文件 strata-<model>.json 追加以下向量设置：

--control-vector-scaled <path>/Huihui-Qwen3.8-Flash-Next-refusal-direction-r.gguf:1.0
--control-vector-layer-range 1 47 --cvec-mode project --cvec-dir

• 重新启动

[imbiplaza ASUS]

我再等等nvfp4 版本

[Moor Wu]

strata不是有个参数来执行期协助去审查了么？

[perter]

@Moor-Wu

EXPERIMENTAL - speed projection: a small control vector applied while the model runs (layers 4-44).
 It changes how the model answers: its package describes it as a refusal-direction projection (the
 model declines far fewer requests). Off unless you choose it; when on, the web app can switch it off
 per chat. Details: data/experimental-speed-projection/README.md
Turn on the experimental speed projection? [n]:

这个参数吗？实际上并不能完全无审查。

[terry]

非常牛的分享，这个很重要！去审查，是很多男人的刚需。

[fanweng-code]

去審查版有很多了
但Strata版本的現在就這一個

[拐子001]

尝试了下，硬件是7900xtx+x99 感觉响应好慢。能输出，速度50+但是问题扔给它，得有好几分种才后才会有反应。

[perter]

@拐子001
具体是什么现象，默认思考模式是high，尝试关闭思考模式或者降低一些。

[applejuice]

我的设置 即使用medium 思考模式 都一直重复
一直重复然后 hermes 打断

有没有大神遇过解决了

[perter]

@applejuice
看看下面这个帖子，可能和你情况差不多。
https://lcz.me/topic/2081

[stxpnet]

模式	temperature	top_p	top_k	min_p	presence_penalty	repetition_penalty
思考模式（规划/复杂任务）	1.0	0.95	20	0.0	0.0	1.0
Instruct 模式（日常对话/直答）	0.7	0.80	20	0.0	1.5	1.0

模型自身的WEB界面可以改。 其它地方最好在客户端修改，我是架设的NEW API在中间调节。

[NY Zhao]

哈哈，刚下了，太好用了，已经完全抛弃了sglang+27b+dflash了，聪明太多了

[Queen Laura]

赞一个，去审查非常有必要XD

[Xiaote]

本帖参与讨论人数已达 10+，入选热议，作者 +3 积分奖励，感谢分享！

奖励凭证：热议 +3 分 · 编号 h2079-1997-1（系统自动发放，显示稍有延迟）

[perter]

Qwen3.8-Flash-Next-GSQ-RCO-abliterated-GGUF 的能力完全可以自己创作一点小说了。

下面的内容少儿不易，自己去本地尝试吧。

[xiaopbro]

感谢分享，一直在等这个

[xiaopbro]

此主題已被删除！

[gao Gao]

汇报下,感谢楼主,今天突发奇想,有个小众的软件需要注册码付费, 我让这个版本跑了3个小时居然破解登录了 牛!

[perter]

@gao-Gao
好的，低调使用。

[titomok]

抄功課來了，剛剛手動安裝一直鬼打牆地報錯。
之後用Ai 幫忙安裝，找了大半小時之後才發現是cuda version不對，現在終於能跑起來了，之再慢慢測試看看，感謝