DDR3 1866 32GB×4 不兼容,准备退货。
-
-
-
根據華南金牌官網顯示:
*CPU 支援DDR3: E5-2629v3 / 2649v3 / 2669v3 / 2673v3 / 2676v3 / 2678v3 / 2696v3 -
所以最后的结论是什么?如果换成2696v3是否还有同样的问题
-
-
所以最后的结论是什么?如果换成2696v3是否还有同样的问题
-
让Hermes把今天做过的DDR3跑strata调优测试,对比DDR4跑strata。总结如下:
DDR3 128G vs DDR4 64G 跑 StrataX99-TF / E5-2696v4 22C44T / RX 7900 XTX,PCIe 3.0 x16;Strata v0.2.2 (wt-0220),SC117 IQ3_S pack
(qwen4exp,48 层,24576 专家,PLE 表 320,001,536 行)。同一配置,只差 --ple-io。结论
带宽 > 容量。DDR4 快 15-68%,代价是 PLE 表退回 NVMe、内存余量从 61 GiB 降到 25 GiB。
DDR3-1866 4×32G DDR4-2400 4×16G 可见容量 125 GiB 62 GiB read / 理论 50.4 / 59.7 GB/s(84%) 65.8 / 76.8 GB/s(86%) triad / copy 35.2-36.3 / 30.5-31.8 47.2-47.6 / 40.3-41.4 prefill @15.5K 1284 tok/s 2158 tok/s(+68%) decode @2K 53.9-63.0 tok/s 67.4-79.6 tok/s decode @15.5K 44K 口径 55.4-58.1 72.4 tok/s 命中率 92.5-94.2% 91.4-94.5% PLE 表 内存 mlock 26.8 GiB NVMe O_DIRECT 锁页合计 61.7-61.9 GiB 37.24 GiB 专家 NVMe 读 0 blobs 0 blobs 硬件
DDR3 4×32G DDR3-1866 RECC M386B4G70DM0-CMA3 Rank4,四通道满插
DDR4 4×16G DDR4-2400 ECC(EDAC: Ha#0_Chan#0/1 + Ha#1_Chan#0/1 = 2 HA × 2 通道,每通道 1 条)带宽实测(3×1 GiB STREAM,-O3 -march=native -fopenmp,三次最好值 GB/s):
线程 1 4 11 22 32 44 DDR4 read 7.1 27.3 63.6 58.7-61.0 64.7-65.8 51.0-52.8 DDR3 read 8.3 — — 48.1 — 50.4 DDR4 要 32 线程打满 read、44 线程反降;--pool-workers 20 维持不动。
配置(两套共用)
--pack /mnt/nvme/strata/packs/sc117-iq3_s
--expert-cache auto --expert-profile data/expert-profile.bin (24576 pairs)
--resident-budget-gib 36 --kv int8 --kv-resident 32768
--max-context 196608 --prefill 16384
--pcie-frac 0(PCIe 仅 13 GB/s) --pool-workers 20
--adapt-every 2 --adapt-async 1 --spec 4 --spec-min-p 0.5
--vram-reserve-mib 512(DDR3)→ 576(DDR4)
env STRATA_HIPBLASLT_TUNING=gfx1100-hipblaslt-100401-full.txt(48 行,fallbacks=0)唯一分歧:--ple-io ram(DDR3)
--ple-io direct(DDR4)。锁页账:专家 29.75 补集 + 5.17 lend = 34.92;KV 2.32;PLE 26.82。
DDR3 = 64.06 / 125 GiB;DDR4 = 37.24 / 62 GiB。DDR4 硬留 ram 的结果是 PLE table mlock failed- 专家被挤;且 direct 是 O_DIRECT,剩下 25 GiB 空闲内存对它无效。
启动块(DDR4,2026-10-26 22:59):
PLE direct read probe 42695 rows/s (fine) / expert cache 9010 slots 17.09 GiB /
resident RAM mode 34.92 GiB (page-locked) / expert tiers files 0 blobs / 454 MiB VRAM freeDDR3 prefill 曲线(chunk 16384 vs auto 8192)
prompt 4K 8K 16K 32K 44K 64K 128K 200K auto 826 823 1064 1051 1022 1096 — — 16384 854 1301 1284 1530 1515 1477 1503 1371 DDR4 上 chunk 16384 必须保留(lend 5.17 GiB 仍装得进 36)。
优点
DDR3 128G DDR4 64G 1 PLE 全常驻 mlock,无 NVMe 随机读,SSD 友好 带宽 +31%,decode +15~30%、prefill +68%,单机最快 2 富余 61 GiB:可与 llama-server/Qdrant 共存 内存便宜易得,2400 已满速,器件少功耗低 3 200K prompt 实测跑通 1371 tok/s 三档实测专家 0 blob reads 缺点
Column 1: 1
DDR3 128G: read 低 23%,decode 54-63、prefill 1022-1530
DDR4 64G: PLE 落 NVMe,O_DIRECT 不吃 page cache
────────────────────────────────────────
Column 1: 2
DDR3 128G: prefill 差 68%,44K 首诊等待长
DDR4 64G: available 仅 16 GiB,200K / 大 prompt-cache 无余量
────────────────────────────────────────
Column 1: 3
DDR3 128G: RECC Rank4 热
DDR4 64G: budget 36 启动窗口窄(MemAvailable ≥ 40.25 GiB,否则 clamp 退到 37 tok/s 档)
────────────────────────────────────────
Column 1: 4
DDR3 128G: —
DDR4 64G: 454 MiB VRAM free 告警(reserve 512→576 无效,slot 9009→9010)选型
场景 选 诊所日常 RAG(8K-44K,一诊一请求) DDR4 64G 128K-200K 超长 prompt DDR3 128G 同机跑别的服务 DDR3 128G 免 NVMe 随机读 DDR3 128G 省钱省电 DDR4 64G 单机最快 DDR4 64G -
你这是单卡么?我看别的测试出来都是说strata对带宽的要求不大的
-
-
7900xtx单卡。换回DDR4内存,我把bois的CSM Support改成了Disabled。把ReBAR 和Above4G都改成了enable。这两个参数DDR3的内存开了就黑屏。启动不了。估计这个意外提升pp和这个有关系。当然启动参数也重新调优了。说不清楚具体收益来源于哪里。
PP / decode 分档实测(DDR4 现役,2026-10-26)
gen=512,enable_thinking:false,真实病历语料,fresh prompt(0 reused),读引擎 timing 行:
prompt PP tok/s PP 耗时 decode tok/s 命中率 1.7K 528 3.2 s 64.6-75.2 91.2-94.5% 6.6K 1548 4.3 s 67.4-79.4 94.4-94.9% 13.2K 2040 6.5 s 68.3-71.5 93.6-94.4% 26.4K 2035 13.0 s 68.0-70.5 94.4-95.1% 36.3K 1684 11.8 s 67.4-71.8 94.0-94.8% 44.9K 2127 21.1 s 70.7 94.3% - decode 11 次取样中位 70.5 tok/s(区间 64.6-79.4),MTP draft 接受率 49-67%。
- PP 在 chunk 16384 下按整块计费:36.3K 的尾块只填 3.4K,PP 掉到 1684;44.9K 尾块 12K,反而 2127。
短 prompt 吃亏在固定开销(每块都要流式读全部专家),1.7K 只有 528 tok/s。 - 对 DDR3 全常驻:PP @16K 1284 → 2040(+59%),PP @44K 1515 → 2127(+40%),decode 55.4-58.1 → 中位 70.5(+21~28%)。
- prompt-cache 影响口径:同一 prompt 二次追问时 32K 命中 16384 reused、44K 命中 32768 reused,
此时 reported prefill 是复用后的 901-1750 tok/s,不能当 PP 用。
