如題, 第一次發帖
目前配置
CPU: AMD Ryzen 7 9800X3D
內存: 128 GB
顯示卡: NVIDIA GeForce RTX 5080 (16 GB)
儲存體: 1T SSD
作業系統: Windows 11
利用Strata在Hermes agent中接入Qwen3.8-Flash-Next NVFP4 作為Agent使用
將模型上下文直接開到最高262k的情況下
Prefill max: 2900
Decode: ~41.7
日常任務個人還能接受
原本想要下載無審查版本模型, 請Hermes部屬的時候, 意外發現Strata中似乎有個能夠將NVFP4直接變成無審查的設定
在args內加入, 以下參數, 似乎就可以將審查層給停止,
"--control-vector-scaled",
"D:\LLM\Strata\data\uncensor\qwen-nvfp4-gptq-uncensored.gguf:1.0",
"--control-vector-layer-range",
"8",
"33",
"--cvec-mode",
"project",
"--cvec-dir",
"per-layer",
大神們也許可以測試看看