纯小白，心痒难耐最终还是下手了！

逗p

##【交作业】2×4090D 48G + 4080S 32G 三卡异构：双卡摊分 125B IQ3_XXS 131K 常驻，117K prefill 5,287 t/s、decode 133 t/s（Strata 0.2.9，附完整参数与工作数据）

日期：2026-10-31 ｜ Strata 0.2.9（build 0.1.55）｜ driver 621.01 / CUDA 13.5 ｜ Win10 22H2

0. 机器

项	值
GPU	@01 RTX 4090D 48G（桌面输出 3440×1440 + ComfyUI 专用卡，按需拉起）· @41 RTX 4090D 48G（主 LLM）· @61 RTX 4080S 32G（LLM 副卡），全部 PCIe 直插，无 NVLink
CPU / 内存	AMD Threadripper PRO 5965WX（24C48T）/ 256 GB DDR4-2400（8×32G，专家与 KV 的第二层）
主板 / 系统	ASUS WRX80（BIOS 1801）/ Win10 专业版 22H2
模型	Qwen3.8-Flash-Next-GSQ-RCO-abliterated IQ3_XXS（GGUF 双分片，第二分片是 PLE 专家层，走 `--ple-io mmap`）+ mmproj BF16 视觉塔
上下文	131,072（KV int8），引擎自带视觉输入
功耗墙	350W / 350W / 270W；Ada 算力解锁已做（Tensor FP16/BF16/TF32 近翻倍，decode/INT8 基本不变）

1. 部署

双卡摊分：主卡 4090D 驻主权重（34.2G），副卡 4080S 摊专家层（27.9G）。CUDA_VISIBLE_DEVICES 按 GPU UUID 钉卡——这机器三张实卡 + BMC 虚拟显卡，数字顺序必漂移。

引擎参数（全）：

--native <IQ3_XXS-00001.gguf> --ple-gguf <IQ3_XXS-00002.gguf>
--expert-profile <expert-profile.bin> --expert-cache auto --prefill auto
--spec 4 --spec-min-p 0.5 --mtp <mtp/rt>
--max-context 131072 --kv int8 --kv-resident 32768
--vram-reserve-mib 3000 --pool-workers 15 --pool-affinity auto
--vision --ple-io mmap

env: STRATA_RESIDENT_PIN=1, CUDA_DEVICE_ORDER=PCI_BUS_ID, CUDA_VISIBLE_DEVICES=<UUID4090D>,<UUID4080S>

四个坑（都踩过）：

副卡不给 --vram-reserve-mib 3000 留头，prefill 会撞 OOM（4080S 32G 摊完权重本来就顶）；
钉卡必须用 UUID，桌面插哪张、BMC 排第几都会改变数字编号；
--kv-resident 32768 + RESIDENT_PIN=1 + 256G 内存，专家缓存零分页，这是 131K 不掉的真正原因；
ComfyUI 铁律只上桌面卡（4090D@01），永不碰 4080S——两张 LLM 卡的显存图全程干净。

2. 工作数据（今晚快照：LLM 常驻推理 + 桌面静置 + ComfyUI 未拉起）

卡	角色	显存占用	利用率	温度	功耗
@01 4090D 48G	桌面 + ComfyUI 按需	189 MiB	0%	33.6℃	20W
@41 4090D 48G	主 LLM	34.2G	16%	49.1℃	108W
@61 4080S 32G	LLM 副卡	27.9G	26%	44.8℃	63W

推理中三卡合计 ~191W；空闲只剩桌面卡 20W。CPU 负载 0%，内存占用 76G/256G（大头是双卡 pinned）；盘 19% / E: 17% / G: 27%。服务：8080 = LLM（131K + 视觉）常驻，ComfyUI 按需非常驻。

3. 实测

方法：自建 Python harness 直打 /v1/chat/completions，temp=0；引擎不返回 llama.cpp 的 timings，全部 wall 口径。防缓存：语料每段嵌唯一页码、每轮换唯一盐，杜绝块级前缀命中虚高。

prefill 随上下文深度（越深越快）

prompt	prefill t/s	首字
2.3 K	2,631	0.86 s
11.8 K	4,148	2.85 s
47.4 K	4,463	10.62 s
116.7 K	5,287	22.08 s

decode 单流（短上下文，生成 146 tok × 3 轮）

112.0 / 143.3 / 143.6，平均 133.0 t/s

深上下文追问：已载入 46K 上下文再生成 300 tok，全程 12.82 s；扣实测 47K prefill 耗时（~10.4 s），深上下文 decode ≈ 122 t/s（推算口径，别和上面短口的 133 混比）。

4. 结论

4090D 48G 主 + 4080S 32G 副的 PCIe 异构摊分对 125B IQ3_XXS 很能打：131K 常驻、117K 一口吞 prefill 5,287 t/s、短口 decode 133、深口 ~120，agent 日用完全够——本帖正文就是它写的。
prefill 随深度涨不降（2.6K → 5.3K），靠的是 256G 内存 + resident-pin 把专家/KV 铺平；小 prompt 那档 2,631 是管道没喂饱，别拿它当基准。
4080S 钉 270W 摊副卡几乎无感（推理中仅 63W）。

terry

1,你重复发帖了，下不为例。
2,你发帖长文字整理成Markdown代码更好阅读。

逗p

@terry
好滴！~特老师！

xiaopbro

厉害了，现在的价格还敢上的都是土豪

ka ka

土豪说下各个配件价格

ralfzhu

壕做友~~壕做友~~
我现在也主要研究本地模型生视频，也有几个作品了。可以交流交流！

逗p

@ka-ka 确实是高位接盘，但就目前的形式。我个人感觉。每个1年-2年。价格根本下不来。想玩好。就只能接盘了！
主板cpu---1.3个淘宝
内存条---0.9个拼xx
显卡---2.7个---3个---1.5个。京东自营
电源0.2个。拼xx

kos or

感覺RTX 4090 是賣一張少一張
這種世代頂級的遊戲卡數量應該不多
被買家用來跑AI大概就不會脫手了

PhilipShi2026

@逗p 这中配置对机箱散热和电源功耗挑战巨大，想知道机箱和电源是什么品牌和型号。

Xiaote

本帖参与讨论人数已达 10+，入选热议，作者 +3 积分奖励！

奖励凭证：热议 +3 分 · 编号 h2758-1437-1

ka ka

@逗p 说:

@ka-ka 确实是高位接盘，但就目前的形式。我个人感觉。每个1年-2年。价格根本下不来。想玩好。就只能接盘了！
主板cpu---1.3个淘宝
内存条---0.9个拼xx
显卡---2.7个---3个---1.5个。京东自营
电源0.2个。拼xx

说不定明年转手一卖还能赚几个

逗p

@PhilipShi2026 风冷限制功耗，全塔机箱卡位10个，金河田白金A+ 2000w。

天下大同

你这已超出了小白玩玩的范畴，一块主板1万多呀

风满楼

土豪配置。坛子里土豪真不少

koala

倒反天罡，从小白到大师最快的方式就是砸钱买显卡，啥也不缺，啥都能干

Xiaote

版主审定：本帖设为优秀，作者 +3 积分奖励，继续加油！

奖励凭证：优秀 +3 分 · 编号 e2758-1437-1

抡锤者