安装运行strata 遇到问题，请教一下大家
-
这个是运行的样子
出错的时候RuntimeError: the engine exited before it was ready (see I:\Strata-main\strata-iq3_xxs.log)Strata - Qwen3.8-Flash-Next on a normal PC (a GPU + system RAM + CPU)
[ok] GPUs: GPU 0 (NVIDIA GeForce RTX 2080 Ti, 22 GB) + GPU 1 (NVIDIA GeForce RTX 2080 Ti, 22 GB) together (layers split auto)
Starting qwen3.8-flash-next-iq3_xxs: it loads about 47 GB into RAM and locks part of it for the GPU.
While it does, YOUR PC CAN BE SLOW OR STOP RESPONDING FOR 1-3 MINUTES (longer the first time after a
restart). That is normal: please wait and don't close this window - the browser opens when it is ready.
Later, closing this window stops the model.Settings (strata-iq3_xxs.json): --expert-cache auto --prefill auto --spec 4 --spec-min-p 0.5
--max-context 131072 --kv int8 --kv-resident 32768; server 127.0.0.1:8080, gpu 0,1, layer_split auto
loading the model (the first start takes a minute or two) ...
[strata] layer split across GPUs [0, 1] (auto)
[strata] starting the engine: reading the model's weights ...
[strata] still starting (20 s) - please wait ...
[strata] loading the experts into RAM (about 47 GB) and locking part of them for the GPU.
YOUR PC CAN BE SLOW OR STOP RESPONDING FOR 1-3 MINUTES NOW - this is normal.
Please wait and don't close this window; the browser opens when it is ready.
[strata] still starting (49 s) - please wait ...
[strata] still starting (69 s) - please wait ...
[strata] still starting (89 s) - please wait ...
[strata] still starting (109 s) - please wait ...
[strata] still starting (129 s) - please wait ...
[strata] still starting (149 s) - please wait ...
[strata] still starting (169 s) - please wait ...
[strata] still starting (189 s) - please wait ...
[strata] still starting (209 s) - please wait ...
[strata] still starting (229 s) - please wait ...
[strata] still starting (249 s) - please wait ...
[strata] still starting (269 s) - please wait ...
[strata] still starting (289 s) - please wait ...
[strata] still starting (309 s) - please wait ...
[strata] still starting (329 s) - please wait ...
[strata] still starting (349 s) - please wait ...
[strata] still starting (369 s) - please wait ...
[strata] still starting (389 s) - please wait ...
[strata] still starting (409 s) - please wait ...
[strata] still starting (429 s) - please wait ...
[strata] still starting (449 s) - please wait ...
[strata] still starting (469 s) - please wait ...
[strata] still starting (489 s) - please wait ...
[strata] still starting (509 s) - please wait ...
[strata] experts loaded: 39.97 GiB at 0.08 GiB/s (522 s so far)
[strata] filling the GPU's expert cache (11260 experts, 16.34 GiB of VRAM) ...
[strata] almost ready ...
Traceback (most recent call last):
File "I:\Strata-main\serve\server.py", line 5895, in <module>
sys.exit(main())
^^^^^^
File "I:\Strata-main\serve\server.py", line 5720, in main
engine = StrataEngine(exe, engine_args(cfg) + (effort_end or []), cwd=cfg.get("cwd"), log=cfg.get("log"),
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "I:\Strata-main\serve\server.py", line 693, in init
raise RuntimeError(why + (f" (see {log})" if log else "") +
RuntimeError: the engine exited before it was ready (see I:\Strata-main\strata-iq3_xxs.log)
the engine log's last lines:
strata generate: 11 pool workers on logical processors 2,4,6,8,10,12,14,16,18,20,22, the host thread on 0 (draining too) (--host-core first)
strata generate: expert cache auto: 17.03 GiB free, 700 MiB reserved (+0 MiB for the draft head) -> 7533 slots
strata generate: expert cache 11260 slots, 16.34 GiB of VRAM; policy is
strata generate: the GPU computes the experts in the cache; it rounds differently from the CPU,
so a reply can differ slightly from a run without the cache (same quality:
bench/results/2026-09-27-cache-parity).
PROFILE, ranked by routing frequency, no eviction.
strata generate: pre-filled 11260 of 11260 slots from the profile in 3.4 s (5156 MB/s); slot 0 verified
strata generate: layer split, CUDA1: 15.81 GiB free of 22.00, room for experts 15.04 GiB
strata generate: layer split: CUDA1 runs layers 26-47, expert cache 8190 slots (15.04 GiB), 8190 of its 11264 profiled pairs; slot 0 verified
strata generate: layer split: CUDA0 runs layers 0-25
strata generate: layer split auto: L2 probe: the split is startable on the live free figures
strata generate: R4 hit path ON - resident experts are computed on the GPU
strata generate: 11 expert-pool workers + the host thread
strata generate: session is up (engine 0.1.41)
strata generate: token graph hit path: 19450 resident experts, decided on the device
strata serve: layer split: 79% of the experts resident, the prompt path's streamed ring 96 slots
strata serve: prompt chunk auto: 8192 tokens, a 96-slot ring
strata serve: the prompt path borrows 2429 CUDA0 cache slots (3.50 GiB)
strata serve: CUDA1 prompt path borrows 1905 of its 8190 slots (3.50 GiB)
请按任意键继续. . . -
-
-
试一试Max content = 8k, 先跑起来再加大
-
-
-
什么硬盘？ 我的机器只有300多m/s读取的ssd，用 --ple-io ram 把PLE 表搬进内存才解决。
还有是什么cpu，如果太弱，就把--pcie-frac 加高。
你看我这个帖子。 https://lcz.me/topic/2224你显存大，用q2模型，64g内存我觉得也能用这个设置
-
机械硬盘太慢了，玩不了
-
7 t/s 按下面顺序排，基本能定位：
- 先确认 decode 每 token 要读的专家/PLE 是不是还在走 SSD。3843 那条是对的：先
--ple-io ram把 PLE 表搬进内存，并把--pcie-frac调高，让瓶颈落在 PCIe 而不是磁盘。 - 2080Ti 是 Turing（sm_75），没有 BF16/FP8，只能走 INT8/FP16 路径。确认日志里 kernel 的选择；如果引擎默认按 FP8/BF16 编译，会退化成更慢的路径甚至回退 CPU。
- 用任务管理器看 decode 时谁忙：磁盘 100% → I/O 瓶颈；GPU 闲 → 卡在专家加载/PCIe；CPU 单核 100% → 调度/拆分问题。三种原因给的解法完全不同。
- 现设置
--kv-resident 32768在 44G 卡上偏保守；上下文已降到 8K，可以先把--expert-cache从auto改成固定值，把热专家钉在显存，避免每 token 重读。
建议直接参考 topic/2224，那位机器和你同量级，先抄配置再微调。
- 先确认 decode 每 token 要读的专家/PLE 是不是还在走 SSD。3843 那条是对的：先
-
我用 Claude 做翻译和核对。
我的配置和你很接近，可以做个对照：双 2080 Ti 22G，E5-2666 v3（和你的 2678 v3 同代，AVX2，没有 AVX-512），252G 内存，Ubuntu。
模型是 Qwen3.8-Flash-Next IQ3_S，262K 上下文，解码 55–77 tok/s，29K 长 prompt 预填充约 1050 tok/s。所以 2080 Ti 和这代 CPU 本身没问题，7 tok/s 肯定不正常。我的参数（基本全 auto）：
--expert-cache auto --prefill auto --spec 4 --spec-min-p 0.5 --mtp ... --max-context 262144 --kv int8 --kv-resident 32768 --vram-reserve-mib 700 --vision
日志里：层自动切分 0–19 在卡0、20–47 在卡1；pcie_frac 自动探测为 0.23（PCIe 10.8 GB/s）；专家缓存每张卡约 15GB，加载完显存只剩约 470MB；专家缓存命中率加权平均约 97%。我觉得问题主要在内存和硬盘：
- 启动时约 47GB 专家载入锁页内存，我这边运行时系统内存占用约 60GB。你 64G 内存还要跑 Windows，非常紧。如果专家放不下，解码时就要去读盘，速度会掉得很厉害。
- 盘速对比（直接读，绕过缓存）：我的 SATA SSD 546 MB/s，冷启动加载 47GB 约 90 秒；挪到 NVMe（1.5 GB/s）后加载速度从 0.52 提到 1.45 GiB/s，约 66
秒就绪。解码速度两者一样，因为专家全在内存/显存里时根本不读盘。 - 你说 SSD 只有 300 多 MB/s，这正好是 SATA II（3Gb/s）的上限，老 X79/X99 板很常见。用 CrystalDiskInfo 看传输模式是 SATA/300 还是 SATA/600，能换就插到 SATA3 口。机械硬盘就更不行了。
建议自查：
- 看日志里的 expert cache hit rate，正常应该在 90% 以上；KV streaming ... hit VRAM 也应该接近 100%。
- 生成时打开任务管理器，看磁盘占用是不是一直很高。如果是，就说明在从盘读专家。
- 上下文降到 8K 对显存帮助不大：KV 只有 --kv-resident 那部分（32K）常驻显存，其余在内存里。
-
我用 Claude 做翻译和核对。
我的配置和你很接近，可以做个对照：双 2080 Ti 22G，E5-2666 v3（和你的 2678 v3 同代，AVX2，没有 AVX-512），252G 内存，Ubuntu。
模型是 Qwen3.8-Flash-Next IQ3_S，262K 上下文，解码 55–77 tok/s，29K 长 prompt 预填充约 1050 tok/s。所以 2080 Ti 和这代 CPU 本身没问题，7 tok/s 肯定不正常。我的参数（基本全 auto）：
--expert-cache auto --prefill auto --spec 4 --spec-min-p 0.5 --mtp ... --max-context 262144 --kv int8 --kv-resident 32768 --vram-reserve-mib 700 --vision
日志里：层自动切分 0–19 在卡0、20–47 在卡1；pcie_frac 自动探测为 0.23（PCIe 10.8 GB/s）；专家缓存每张卡约 15GB，加载完显存只剩约 470MB；专家缓存命中率加权平均约 97%。我觉得问题主要在内存和硬盘：
- 启动时约 47GB 专家载入锁页内存，我这边运行时系统内存占用约 60GB。你 64G 内存还要跑 Windows，非常紧。如果专家放不下，解码时就要去读盘，速度会掉得很厉害。
- 盘速对比（直接读，绕过缓存）：我的 SATA SSD 546 MB/s，冷启动加载 47GB 约 90 秒；挪到 NVMe（1.5 GB/s）后加载速度从 0.52 提到 1.45 GiB/s，约 66
秒就绪。解码速度两者一样，因为专家全在内存/显存里时根本不读盘。 - 你说 SSD 只有 300 多 MB/s，这正好是 SATA II（3Gb/s）的上限，老 X79/X99 板很常见。用 CrystalDiskInfo 看传输模式是 SATA/300 还是 SATA/600，能换就插到 SATA3 口。机械硬盘就更不行了。
建议自查：
- 看日志里的 expert cache hit rate，正常应该在 90% 以上；KV streaming ... hit VRAM 也应该接近 100%。
- 生成时打开任务管理器，看磁盘占用是不是一直很高。如果是，就说明在从盘读专家。
- 上下文降到 8K 对显存帮助不大：KV 只有 --kv-resident 那部分（32K）常驻显存，其余在内存里。
-
我用 Claude 做翻译和核对。
我的配置和你很接近，可以做个对照：双 2080 Ti 22G，E5-2666 v3（和你的 2678 v3 同代，AVX2，没有 AVX-512），252G 内存，Ubuntu。
模型是 Qwen3.8-Flash-Next IQ3_S，262K 上下文，解码 55–77 tok/s，29K 长 prompt 预填充约 1050 tok/s。所以 2080 Ti 和这代 CPU 本身没问题，7 tok/s 肯定不正常。我的参数（基本全 auto）：
--expert-cache auto --prefill auto --spec 4 --spec-min-p 0.5 --mtp ... --max-context 262144 --kv int8 --kv-resident 32768 --vram-reserve-mib 700 --vision
日志里：层自动切分 0–19 在卡0、20–47 在卡1；pcie_frac 自动探测为 0.23（PCIe 10.8 GB/s）；专家缓存每张卡约 15GB，加载完显存只剩约 470MB；专家缓存命中率加权平均约 97%。我觉得问题主要在内存和硬盘：
- 启动时约 47GB 专家载入锁页内存，我这边运行时系统内存占用约 60GB。你 64G 内存还要跑 Windows，非常紧。如果专家放不下，解码时就要去读盘，速度会掉得很厉害。
- 盘速对比（直接读，绕过缓存）：我的 SATA SSD 546 MB/s，冷启动加载 47GB 约 90 秒；挪到 NVMe（1.5 GB/s）后加载速度从 0.52 提到 1.45 GiB/s，约 66
秒就绪。解码速度两者一样，因为专家全在内存/显存里时根本不读盘。 - 你说 SSD 只有 300 多 MB/s，这正好是 SATA II（3Gb/s）的上限，老 X79/X99 板很常见。用 CrystalDiskInfo 看传输模式是 SATA/300 还是 SATA/600，能换就插到 SATA3 口。机械硬盘就更不行了。
建议自查：
- 看日志里的 expert cache hit rate，正常应该在 90% 以上；KV streaming ... hit VRAM 也应该接近 100%。
- 生成时打开任务管理器，看磁盘占用是不是一直很高。如果是，就说明在从盘读专家。
- 上下文降到 8K 对显存帮助不大：KV 只有 --kv-resident 那部分（32K）常驻显存，其余在内存里。
