Strata - 3090 / R9700, 2133 ddr4 / 2633 ddr4
-
刚换了 32gbx2 2133mhz 去 32gbx8 2633mhz
神奇的是 速度完全没有改变
所以 还没买内存的朋友 可能不需要追求3200 mhz 毕竟价钱 差不少原本是64gb 不够玩strata 又找不到便宜内存
刚好本地有人出2633 但是只有买10条才肯给折扣
所以忍痛买了顺便放下 单3090, 双3090, 单r9700 strata的对比
epyc7452Decode ( greedy, 1024 tokens, median of 3; range in brackets)
Workload 2x 3090 1x 3090 R9700 1x 3090 vs 2x R9700 vs 2x Chinese prose 104.8 t/s (96.4-108.3) 83.4 (76.2-83.5) 64.2 (59.8-65.6) -20 % -39 % Chinese chat 112.3 (110.0-112.7) 83.6 (82.3-84.2) 70.6 (66.5-72.6) -26 % -37 % English technical 109.2 (103.7-109.9) 83.1 (74.9-84.2) 70.6 (65.6-72.8) -24 % -35 % Code 159.7 (141.5-161.1) 117.5 (93.3-118.1) 108.4 (94.3-109.2) -26 % -32 % Prefill (cold prompts with a unique salt)
Prompt 2x 3090 1x 3090 R9700 19K 2,489 t/s (7.7 s) 1,912 (10.0 s) 1,039 (18.5 s) 43K 3,137 (13.7 s) 2,005 (21.5 s) 1,323 (32.5 s) 89K 3,523 (25.2 s) 2,030 (43.8 s) 1,156 (76.9 s) 123K 3,564 (34.4 s) 1,994 (61.4 s) 1,123 (109.0 s) IQ3_S vs IQ3_XXS on 2x RTX 3090
Decode
Workload IQ3_XXS, 64 GB RAM (2026-10-07) IQ3_XXS, 256 GB RAM IQ3_S, 256 GB RAM IQ3_S vs IQ3_XXS (same RAM) Chinese prose 109.9 t/s 105.2 (102.1-106.8) 104.8 (96.4-108.3) -0.4 % Chinese chat 112.2 115.8 (114.4-116.4) 112.3 (110.0-112.7) -3.0 % English technical 111.6 114.8 (114.5-115.6) 109.2 (103.7-109.9) -4.9 % Code 163.5 166.5 (153.9-167.2) 159.7 (141.5-161.1) -4.1 % Prefill
Prompt IQ3_XXS, 64 GB RAM IQ3_XXS, 256 GB RAM IQ3_S, 256 GB RAM IQ3_S vs IQ3_XXS (same RAM) 19K 2,571 t/s 2,563 (7.5 s) 2,489 (7.7 s) -2.9 % 43K 3,183 3,236 (13.3 s) 3,137 (13.7 s) -3.1 % 89K 3,585 3,649 (24.4 s) 3,523 (25.2 s) -3.5 % 123K 3,647 3,686 (33.2 s) 3,564 (34.4 s) -3.3 % 单张 3090 胜过 R9700:解码快 8-30%(代码场景差距最小),预填充约快 1.5-1.8 倍。
同一张 R9700 上的对比: vLLM 跑稠密模型 Qwen3.8-27B(MXFP4,DFlash2),解码为 42 / 52 / 81 / 181 t/s,19K 时预填充约 2,500 t/s。Strata 的 125B 在中文上更快(64-71 对 42-52),在代码和提示词处理上更慢。
IQ3_S 相比 IQ3_XXS 的代价很小:解码仅慢 0-5%,预填充约慢 3%,在 256K 以内召回表现相同,且其作者评定它与完整的 BF16 模型持平。它现在是默认选项(~/start_strata.sh)。
内存升级没有改变 2x 3090 的速度(IQ3_XXS 与 64 GB 时的数据相差在 ±3% 以内)。所以我暂时的决定就是双3090 跑strata， 单张r9700 跑vllm
-
-
-
-
内存频率没带来提升，符合这个负载的特征，不是测错：
- decode 阶段 MoE 每个 token 只读激活专家，你这颗 125B 的激活参数不大，104 t/s 对应的实际带宽需求大约 100 GB/s 量级；DDR4-2133 八通道理论就有约 136 GB/s、2633 约 168 GB/s，两边都在需求之上，所以瓶颈不在系统内存带宽。
- 之前 64G 不够是容量问题（专家/PLE 放不下 → 换页），不是速度问题；换 256G 解决的是"装得下"，不是"跑得快"。你的数据也同向：64G → 256G 后 IQ3_XXS 速度反而略降（约 -3%），说明不带宽敏感。
- 所以 3200 对纯 decode 也不会明显加速，除非把 dense 权重/KV 也压到内存，或扩大 batch/上下文让激活集变大。优先"插满通道 + 够大"，2133 与 2633 的价差可以留给别处。
- 单卡 3090 对 R9700 的 prefill 快 1.5–1.8×，主轴是显存带宽（936 vs 640 GB/s）加 WMMA 路径，跟系统内存无关。
-
-
内存频率没带来提升，符合这个负载的特征，不是测错：
- decode 阶段 MoE 每个 token 只读激活专家，你这颗 125B 的激活参数不大，104 t/s 对应的实际带宽需求大约 100 GB/s 量级；DDR4-2133 八通道理论就有约 136 GB/s、2633 约 168 GB/s，两边都在需求之上，所以瓶颈不在系统内存带宽。
- 之前 64G 不够是容量问题（专家/PLE 放不下 → 换页），不是速度问题；换 256G 解决的是"装得下"，不是"跑得快"。你的数据也同向：64G → 256G 后 IQ3_XXS 速度反而略降（约 -3%），说明不带宽敏感。
- 所以 3200 对纯 decode 也不会明显加速，除非把 dense 权重/KV 也压到内存，或扩大 batch/上下文让激活集变大。优先"插满通道 + 够大"，2133 与 2633 的价差可以留给别处。
- 单卡 3090 对 R9700 的 prefill 快 1.5–1.8×，主轴是显存带宽（936 vs 640 GB/s）加 WMMA 路径，跟系统内存无关。
