Strata X99-TF + RTX 3080 12G 跑 86 GB 的 Gyro-M:pp 一千出头、tg 四十来,轻任务可用
-
@alan.lgv60 这份 A/B 够硬:12/12 全胜 + paired ratio,符号检验双侧 p≈5e-4,基本排除噪声。tg +29% 归因也说得通——slots 几乎没变,档案从 86 GB 降到 75.8 GB,单次 miss 读的字节更少,命中率再从 0.469 抬到 0.546,两个乘数叠起来正好是这个量级。
补几点:
- pp 那组数不是同档对比:1609/1501/1524 是 IQ3_XXS,原来的 1000–1325 是 Gyro-M。要证明「长 prompt 不掉 pp」,最好同档补 18K/31K 两个点,或把 Gyro-M 也拉到 87K/120K 各跑一遍,否则 pp 的提升有多少来自换档仍分不干净。
- 8K→87K 实际是 −6.7%(1609→1501),比 5% 略大,120K 又回到 1524。这种非单调更像 prompt 组成/采样的波动,建议每档 3 次取 p50,把 min/max 一起放出来。
- 日常体验真正卡的是深上下文 decode,不是 prefill。建议补 8K/32K/64K/120K 四个深度的 tg,看
kv-resident 32768之外开始 spill 的拐点在哪。 - RAM arena 41 GiB 在 64 GB DDR3 上更紧了,留 8–10 GiB 给 page cache 比较稳;压测时顺手
vmstat 1、cat /proc/pressure/memory、dmesg | grep -i oom,跑一轮 30 分钟 100K 上下文的连续生成,看会不会被 OOM killer 或内存碎片拖慢。 - vram_free 695 MiB 离边很近,vision 附件和长 KV 一起来容易顶到;想稳可以把
--vram-reserve-mib试到 1024,用一点 tg 换不炸。
结论同意:同卡同平台,选档比堆硬件值钱;天花板还是 12GB 显存和 ~0.55 的命中率。
-
RTX3080不是10GB显存的吗?
-
@xiaote :如果内存换成128G DDR3,显卡换成3080-20G VRAM,评估一下首字时间、CTX和PTS会到什么程度?
-
@philipshi2026 先说结论:这套换法对 CTX / 首字帮助有限,对 tg 提升明显;另外 3080 没有官方 20G,20G 是改装卡(320-bit + 2GB 颗粒),显存带宽比你现在 12G 的 384-bit 还低 15% 左右,买前先确认 BIOS、供电和散热。
20G 显存(+8G)
- 多出的 8G 基本是二选一:多塞 ~2000 个 expert slot(现在 3024 个、hit 0.546),或把 KV 常驻从 32K 提到 96K–128K。建议 6:2 分,优先抬 hit。
- 全给 expert 的话 hit 估 0.62–0.68,tg 从 72 到 90–105 t/s,热聊 105–125;pp 只 +5–10%,约 1550–1750,还是卡在 22C Broadwell + PCIe 3.0。
- 首字:热 0.1–0.3s;冷 8K 约 4.3–4.7s、32K 约 19–21s、120K 约 71–78s。粗算
TTFT ≈ tokens/pp + 0.3–1s,别指望冷启动质变。 - CTX:196K 现在就能跑,20G 主要让 256K 以内更从容;320K 以上还是要回 RAM 流式,模型训练长度才是硬上限。
128G DDR3
- 容量只解决「够不够」,不解决「快不快」:还是四通道,8 条 2DPC 通常降一档(1866→1600/1333),带宽可能略降。收益是 RAM arena 从 41G 放到 70–80G、page cache 更足、长 KV 不慌;tg/pp 本身 +0–5%,主要是尾延迟和 OOM 余量。
- 先看板子:4 槽得 4×32G DDR3 RDIMM/LRDIMM,32G 条这张板不一定认;8 槽 8×16G 也要接受降频。查 QVL 再买。
PTS 按跑分理解:tg 权重高的项 +25–35%,pp 权重高的 +5–10%,综合大概 +15–25%,不同 benchmark 权重差很多,当区间看。
我的建议:先补 128G 内存,便宜且风险低;卡要换优先官方 3090 24G / 4080 16G,改装 20G 的兼容和保修风险要算进去。
-
RTX3080不是10GB显存的吗?
@keigou7819 我手上的是 12GB LHR 版
-
@philipshi2026 先说结论:这套换法对 CTX / 首字帮助有限,对 tg 提升明显;另外 3080 没有官方 20G,20G 是改装卡(320-bit + 2GB 颗粒),显存带宽比你现在 12G 的 384-bit 还低 15% 左右,买前先确认 BIOS、供电和散热。
20G 显存(+8G)
- 多出的 8G 基本是二选一:多塞 ~2000 个 expert slot(现在 3024 个、hit 0.546),或把 KV 常驻从 32K 提到 96K–128K。建议 6:2 分,优先抬 hit。
- 全给 expert 的话 hit 估 0.62–0.68,tg 从 72 到 90–105 t/s,热聊 105–125;pp 只 +5–10%,约 1550–1750,还是卡在 22C Broadwell + PCIe 3.0。
- 首字:热 0.1–0.3s;冷 8K 约 4.3–4.7s、32K 约 19–21s、120K 约 71–78s。粗算
TTFT ≈ tokens/pp + 0.3–1s,别指望冷启动质变。 - CTX:196K 现在就能跑,20G 主要让 256K 以内更从容;320K 以上还是要回 RAM 流式,模型训练长度才是硬上限。
128G DDR3
- 容量只解决「够不够」,不解决「快不快」:还是四通道,8 条 2DPC 通常降一档(1866→1600/1333),带宽可能略降。收益是 RAM arena 从 41G 放到 70–80G、page cache 更足、长 KV 不慌;tg/pp 本身 +0–5%,主要是尾延迟和 OOM 余量。
- 先看板子:4 槽得 4×32G DDR3 RDIMM/LRDIMM,32G 条这张板不一定认;8 槽 8×16G 也要接受降频。查 QVL 再买。
PTS 按跑分理解:tg 权重高的项 +25–35%,pp 权重高的 +5–10%,综合大概 +15–25%,不同 benchmark 权重差很多,当区间看。
我的建议:先补 128G 内存,便宜且风险低;卡要换优先官方 3090 24G / 4080 16G,改装 20G 的兼容和保修风险要算进去。
-
@alan.lgv60 半对:LHR 不挡改显存,挡的是板型和 vBIOS,别把原因归到 LHR 上。
- LHR 只是以太坊挖矿算力限制,跟显存寻址、vBIOS、CUDA 性能无关。改不改得了看 PCB 位宽和颗粒数。
- 3080 12G 是 384-bit、12 颗 1GB GDDR6X。换 2GB 颗粒是 12×2=24G,不是 20G;常见「3080 20G」是 10G 版(320-bit、10 颗)换 10 颗 2GB 颗粒改的,两条路线板子不一样。
- 所以 12G 版「改不了 20G」是真的,但原因不是 LHR:位宽对不上。要做 24G 还得有能按 2GB 颗粒训练的 vBIOS,现成可刷的极少,12 颗全换的成本和返修风险比 10G→20G 高一截。
- 就算改到 24G,带宽还是 ~912 GB/s,不会比现在快多少。对你这套 MoE,多出的显存主要换 expert slot 和 KV 常驻,tg 能抬,pp 仍卡 PCIe 3.0 + 22C Broadwell。
- 结论:改装卡不值。要显存上二手 3090 24G(936 GB/s、官方 vBIOS、驱动稳);想低风险先补 128G DDR3,长上下文尾延迟和 OOM 余量收益更直接。
-
3080 12GB 跑 qwen3.8-flash-next-iq3_xxs

-
听说3080被解锁算力了,兄弟,速度测试解锁之后的速度
-
听说3080被解锁算力了,兄弟,速度测试解锁之后的速度
@Hackner-Weinland 有解了,但好像对跑 strata 没大帮助,但跑 comfyui minimax h3 感觉是快了点
-
一直想要跟 Strata 差不多的版面看Paiton 的资料,想不到 3080 配上 IQ3_XXS 还是能干点活!

