Strata v0.1.44.1, Qwen3.8-Flash-Next NVFP4, RTX5080 + 128G內存, 262k長Context實測, 無審查設定

[evilrance-art]

如題, 第一次發帖
目前配置
CPU: AMD Ryzen 7 9800X3D
內存: 128 GB
顯示卡: NVIDIA GeForce RTX 5080 (16 GB)
儲存體: 1T SSD
作業系統: Windows 11

利用Strata在Hermes agent中接入Qwen3.8-Flash-Next NVFP4 作為Agent使用

將模型上下文直接開到最高262k的情況下
Prefill max: 2900
Decode: ~41.7

日常任務個人還能接受

原本想要下載無審查版本模型, 請Hermes部屬的時候, 意外發現Strata中似乎有個能夠將NVFP4直接變成無審查的設定

在args內加入, 以下參數, 似乎就可以將審查層給停止,

"--control-vector-scaled",
"D:\LLM\Strata\data\uncensor\qwen-nvfp4-gptq-uncensored.gguf:1.0",
"--control-vector-layer-range",
"8",
"33",
"--cvec-mode",
"project",
"--cvec-dir",
"per-layer",

大神們也許可以測試看看

[terry]

这速度很顶级了，不错。NVFP4的红利释放，5080其实显存不够的，这下增值了。我其实一直好奇50系列+大内存，跑ComfyUI时候的真实感受。我40系还是断崖式下降。你可以跑着测试下。