抡锤者

首字吞吐（Prefill）：1242 tok/s 的极速读入！Prompt Tokens： 39266 tokens（约 4 万 Token）
耗时： 31s。一口气给它喂了一整部 181KB（约 3 万汉字）的完整小说《无声》，它仅仅花了 31 秒钟，就把整整 4 万 Token 的全部细节彻底消化完毕！

狂飙到了 57.46 t/s（在长达 1.4 万 token 的超长思考链输出下，稳定输出 4 分钟不掉速）。

下面是我的详细硬件配置和模型配置参数!

下面是strata-iq3_s.json参数

{
 "exe": "E:\\strata-alesha-proQ3.8-Flash-abliterated-G-R\\Strata\\engine\\strata.exe",
 "args": [
  "--pack",
  "E:\\strata-alesha-proQ3.8-Flash-abliterated-G-R\\Strata-data\\packs\\iq3_s",
  "--native",
  "..\\Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S-00001-of-00002.gguf",
  "--ple-gguf",
  "..\\Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S-00002-of-00002.gguf",
  "--expert-profile",
  "E:\\strata-alesha-proQ3.8-Flash-abliterated-G-R\\Strata\\data\\expert-profile.bin",
  "--expert-cache",
  "auto",
  "--prefill",
  "auto",
  "--spec",
  "4",
  "--spec-min-p",
  "0.5",
  "--mtp",
  "E:\\strata-alesha-proQ3.8-Flash-abliterated-G-R\\Strata-data\\mtp\\rt",
  "--max-context",
  "65536",
  "--kv",
  "k8v4",
  "--resident-experts",
  "--kv-resident",
  "32768",
  "--vision",
  "--vram-reserve-mib",
  "700",
  "--control-vector-scaled",
  "E:\\strata-alesha-proQ3.8-Flash-abliterated-G-R\\Huihui-Qwen3.8-Flash-Next-refusal-direction-r.gguf:1.0",
  "--control-vector-layer-range",
  "4",
  "44",
  "--cvec-mode",
  "project",
  "--cvec-dir",
  "per-layer"
 ],
 "cwd": "E:\\strata-alesha-proQ3.8-Flash-abliterated-G-R\\Strata",
 "tokenizer": "E:\\strata-alesha-proQ3.8-Flash-abliterated-G-R\\Strata-data\\packs\\iq3_s\\tokenizer",
 "model_name": "qwen3.8-flash-next-iq3_s",
 "log": "E:\\strata-alesha-proQ3.8-Flash-abliterated-G-R\\Strata\\strata-iq3_s.log",
 "lib_dirs": [
  "E:\\strata-alesha-proQ3.8-Flash-abliterated-G-R\\Strata\\.venv\\Lib\\site-packages\\nvidia\\cu13\\bin\\x86_64"
 ],
 "port": 8080,
 "gpu": 0,
 "gpus_asked": true,
 "vision": {
  "exe": "E:\\strata-alesha-proQ3.8-Flash-abliterated-G-R\\Strata\\engine\\strata-vision.exe",
  "mmproj": "..\\mmproj-Qwen3.8-Flash-Next-BF16.gguf",
  "model": "..\\Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S-00001-of-00002.gguf",
  "gpu": true,
  "max_tokens": 1024
 }
}

我还没对接Agent，下一步准备保持这个速度的同时，先把上下文开大128K。今天就先到这里吧！献丑了，欢迎各位大佬批评指导！

这几天比较忙，没怎么折腾本地模型，一开电脑突然发现大家都在用Strata跑Qwen3.8-Flash，研究了一下发现我原本的32G内存跑不了Qwen3.8-Flash-Next-GSQ-RCO-IQ3 S只能跑IQ2 0，而IQ2 0体验还不如Qwen27BGSQ-RCO-IQ4 XS，所以忍痛出血收了两条32G的C16 3000的阿斯嘉特现在是混插只能稳定跑2933，不过试了一下Strata跑Qwen3.8-Flash-Next-GSQ-RCO-IQ3 S体验还不错，能跑38-57Tokens，至于配置回头在其他板块另发一贴吧！

@hyaska 说:

终于搞定了，开64上下文，现在在43T/s 左右

恭喜，这几天在玩观火炉，没怎么上，才看到，你那个缺指令集的报错解决了就好。