@terry 有個問題手機發圖每次觸發圖片太大，能不能麻煩做一個後端自動壓縮或者app，HTML前端壓縮。 每次發圖還要自己壓縮對手機太不友好。
T
Tony Tong
@Tony Tong
-
X10X99-16D 主板翻车记实录 phase 1 -
新手在win11用strata会经常蓝屏重启吗？ -
X10X99-16D 主板翻车记实录 phase 1【交作业】2×4090D 48G + 4080S 32G 三卡异构：双卡摊分 125B IQ3_XXS 131K 常驻，117K prefill 5,287 t/s、decode 133 t/s（Strata 0.2.9，附完整参数与工作数据）
日期：2026-10-31 ｜ Strata 0.2.9（build 0.1.55）｜ driver 621.01 / CUDA 13.5 ｜ Win10 22H2
0. 机器
项 值 GPU @01 RTX 4090D 48G（桌面输出 3440×1440 + ComfyUI 专用卡，按需拉起）· @41 RTX 4090D 48G（主 LLM）· @61 RTX 4080S 32G（LLM 副卡），全部 PCIe 直插，无 NVLink CPU / 内存 AMD Threadripper PRO 5965WX（24C48T）/ 256 GB DDR4-2400（8×32G，专家与 KV 的第二层） 主板 / 系统 ASUS WRX80（BIOS 1801）/ Win10 专业版 22H2 模型 Qwen3.8-Flash-Next-GSQ-RCO-abliterated IQ3_XXS（GGUF 双分片，第二分片是 PLE 专家层，走 --ple-io mmap）+ mmproj BF16 视觉塔上下文 131,072（KV int8），引擎自带视觉输入 功耗墙 350W / 350W / 270W；Ada 算力解锁已做（Tensor FP16/BF16/TF32 近翻倍，decode/INT8 基本不变）
1. 部署
双卡摊分：主卡 4090D 驻主权重（34.2G），副卡 4080S 摊专家层（27.9G）。
CUDA_VISIBLE_DEVICES按 GPU UUID 钉卡——这机器三张实卡 + BMC 虚拟显卡，数字顺序必漂移。引擎参数（全）：
--native <IQ3_XXS-00001.gguf> --ple-gguf <IQ3_XXS-00002.gguf> --expert-profile <expert-profile.bin> --expert-cache auto --prefill auto --spec 4 --spec-min-p 0.5 --mtp <mtp/rt> --max-context 131072 --kv int8 --kv-resident 32768 --vram-reserve-mib 3000 --pool-workers 15 --pool-affinity auto --vision --ple-io mmap env: STRATA_RESIDENT_PIN=1, CUDA_DEVICE_ORDER=PCI_BUS_ID, CUDA_VISIBLE_DEVICES=<UUID4090D>,<UUID4080S>四个坑（都踩过）：
- 副卡不给
--vram-reserve-mib 3000留头，prefill 会撞 OOM（4080S 32G 摊完权重本来就顶）； - 钉卡必须用 UUID，桌面插哪张、BMC 排第几都会改变数字编号；
--kv-resident 32768+RESIDENT_PIN=1+ 256G 内存，专家缓存零分页，这是 131K 不掉的真正原因；- ComfyUI 铁律只上桌面卡（4090D@01），永不碰 4080S——两张 LLM 卡的显存图全程干净。
2. 工作数据（今晚快照：LLM 常驻推理 + 桌面静置 + ComfyUI 未拉起）
卡 角色 显存占用 利用率 温度 功耗 @01 4090D 48G 桌面 + ComfyUI 按需 189 MiB 0% 33.6℃ 20W @41 4090D 48G 主 LLM 34.2G 16% 49.1℃ 108W @61 4080S 32G LLM 副卡 27.9G 26% 44.8℃ 63W 推理中三卡合计 ~191W；空闲只剩桌面卡 20W。CPU 负载 0%，内存占用 76G/256G（大头是双卡 pinned）；盘
19% / E: 17% / G: 27%。服务：8080 = LLM（131K + 视觉）常驻，ComfyUI 按需非常驻。
3. 实测
方法：自建 Python harness 直打
/v1/chat/completions，temp=0；引擎不返回 llama.cpp 的 timings，全部 wall 口径。防缓存：语料每段嵌唯一页码、每轮换唯一盐，杜绝块级前缀命中虚高。prefill 随上下文深度（越深越快）
prompt prefill t/s 首字 2.3 K 2,631 0.86 s 11.8 K 4,148 2.85 s 47.4 K 4,463 10.62 s 116.7 K 5,287 22.08 s decode 单流（短上下文，生成 146 tok × 3 轮）
112.0 / 143.3 / 143.6，平均 133.0 t/s
深上下文追问：已载入 46K 上下文再生成 300 tok，全程 12.82 s；扣实测 47K prefill 耗时（~10.4 s），深上下文 decode ≈ 122 t/s（推算口径，别和上面短口的 133 混比）。
4. 结论
- 4090D 48G 主 + 4080S 32G 副的 PCIe 异构摊分对 125B IQ3_XXS 很能打：131K 常驻、117K 一口吞 prefill 5,287 t/s、短口 decode 133、深口 ~120，agent 日用完全够——本帖正文就是它写的。
- prefill 随深度涨不降（2.6K → 5.3K），靠的是 256G 内存 + resident-pin 把专家/KV 铺平；小 prompt 那档 2,631 是管道没喂饱，别拿它当基准。
- 4080S 钉 270W 摊副卡几乎无感（推理中仅 63W）。
- 副卡不给
-
华南金牌H12D-8D翻车球了。 -
华南金牌H12D-8D翻车球了。 -
华南金牌H12D-8D翻车球了。这样，你有没有办法在另一台确认好用的服务器上（而且不是近期才安装过CPU的），插你买的内存，先只插一条，跑memtest里面的最快的一个测试，应该几分钟就好了，然后把所有内存插上，跑完整的全部测试，这样就确保内存没问题了。
根据你说的“4条内存条插在MM1-3-4-5-6五个插槽中任意4个就正常”，
我的经验是：大概率，要么是CPU扣具的压力不均匀，要么是你安装拧紧扣具的1、2、3螺丝的时候，拧紧的扭矩不均匀，导致有一些LGA pin接触了CPU，有一些接触不良。最好买一个官方CPU扣具的扭矩扳手。你一开始“插了两条”没问题，可能就说正好那两条内存控制器的pin是接触良好的。
试过就算这次点亮了，重启大概率又挂，吃饭的家伙还是不要靠这个了。
-
华南金牌H12D-8D翻车球了。
