Strata - 3090 / R9700, 2133 ddr4 / 2633 ddr4
-
刚换了 32gbx2 2133mhz 去 32gbx8 2633mhz
神奇的是 速度完全没有改变
所以 还没买内存的朋友 可能不需要追求3200 mhz 毕竟价钱 差不少原本是64gb 不够玩strata 又找不到便宜内存
刚好本地有人出2633 但是只有买10条才肯给折扣
所以忍痛买了顺便放下 单3090, 双3090, 单r9700 strata的对比
epyc7452Decode ( greedy, 1024 tokens, median of 3; range in brackets)
Workload 2x 3090 1x 3090 R9700 1x 3090 vs 2x R9700 vs 2x Chinese prose 104.8 t/s (96.4-108.3) 83.4 (76.2-83.5) 64.2 (59.8-65.6) -20 % -39 % Chinese chat 112.3 (110.0-112.7) 83.6 (82.3-84.2) 70.6 (66.5-72.6) -26 % -37 % English technical 109.2 (103.7-109.9) 83.1 (74.9-84.2) 70.6 (65.6-72.8) -24 % -35 % Code 159.7 (141.5-161.1) 117.5 (93.3-118.1) 108.4 (94.3-109.2) -26 % -32 % Prefill (cold prompts with a unique salt)
Prompt 2x 3090 1x 3090 R9700 19K 2,489 t/s (7.7 s) 1,912 (10.0 s) 1,039 (18.5 s) 43K 3,137 (13.7 s) 2,005 (21.5 s) 1,323 (32.5 s) 89K 3,523 (25.2 s) 2,030 (43.8 s) 1,156 (76.9 s) 123K 3,564 (34.4 s) 1,994 (61.4 s) 1,123 (109.0 s) IQ3_S vs IQ3_XXS on 2x RTX 3090
Decode
Workload IQ3_XXS, 64 GB RAM (2026-10-07) IQ3_XXS, 256 GB RAM IQ3_S, 256 GB RAM IQ3_S vs IQ3_XXS (same RAM) Chinese prose 109.9 t/s 105.2 (102.1-106.8) 104.8 (96.4-108.3) -0.4 % Chinese chat 112.2 115.8 (114.4-116.4) 112.3 (110.0-112.7) -3.0 % English technical 111.6 114.8 (114.5-115.6) 109.2 (103.7-109.9) -4.9 % Code 163.5 166.5 (153.9-167.2) 159.7 (141.5-161.1) -4.1 % Prefill
Prompt IQ3_XXS, 64 GB RAM IQ3_XXS, 256 GB RAM IQ3_S, 256 GB RAM IQ3_S vs IQ3_XXS (same RAM) 19K 2,571 t/s 2,563 (7.5 s) 2,489 (7.7 s) -2.9 % 43K 3,183 3,236 (13.3 s) 3,137 (13.7 s) -3.1 % 89K 3,585 3,649 (24.4 s) 3,523 (25.2 s) -3.5 % 123K 3,647 3,686 (33.2 s) 3,564 (34.4 s) -3.3 % 单张 3090 胜过 R9700:解码快 8-30%(代码场景差距最小),预填充约快 1.5-1.8 倍。
同一张 R9700 上的对比: vLLM 跑稠密模型 Qwen3.8-27B(MXFP4,DFlash2),解码为 42 / 52 / 81 / 181 t/s,19K 时预填充约 2,500 t/s。Strata 的 125B 在中文上更快(64-71 对 42-52),在代码和提示词处理上更慢。
IQ3_S 相比 IQ3_XXS 的代价很小:解码仅慢 0-5%,预填充约慢 3%,在 256K 以内召回表现相同,且其作者评定它与完整的 BF16 模型持平。它现在是默认选项(~/start_strata.sh)。
内存升级没有改变 2x 3090 的速度(IQ3_XXS 与 64 GB 时的数据相差在 ±3% 以内)。所以我暂时的决定就是双3090 跑strata， 单张r9700 跑vllm
-
-
-
-
内存频率没带来提升，符合这个负载的特征，不是测错：
- decode 阶段 MoE 每个 token 只读激活专家，你这颗 125B 的激活参数不大，104 t/s 对应的实际带宽需求大约 100 GB/s 量级；DDR4-2133 八通道理论就有约 136 GB/s、2633 约 168 GB/s，两边都在需求之上，所以瓶颈不在系统内存带宽。
- 之前 64G 不够是容量问题（专家/PLE 放不下 → 换页），不是速度问题；换 256G 解决的是"装得下"，不是"跑得快"。你的数据也同向：64G → 256G 后 IQ3_XXS 速度反而略降（约 -3%），说明不带宽敏感。
- 所以 3200 对纯 decode 也不会明显加速，除非把 dense 权重/KV 也压到内存，或扩大 batch/上下文让激活集变大。优先"插满通道 + 够大"，2133 与 2633 的价差可以留给别处。
- 单卡 3090 对 R9700 的 prefill 快 1.5–1.8×，主轴是显存带宽（936 vs 640 GB/s）加 WMMA 路径，跟系统内存无关。
-
-
内存频率没带来提升，符合这个负载的特征，不是测错：
- decode 阶段 MoE 每个 token 只读激活专家，你这颗 125B 的激活参数不大，104 t/s 对应的实际带宽需求大约 100 GB/s 量级；DDR4-2133 八通道理论就有约 136 GB/s、2633 约 168 GB/s，两边都在需求之上，所以瓶颈不在系统内存带宽。
- 之前 64G 不够是容量问题（专家/PLE 放不下 → 换页），不是速度问题；换 256G 解决的是"装得下"，不是"跑得快"。你的数据也同向：64G → 256G 后 IQ3_XXS 速度反而略降（约 -3%），说明不带宽敏感。
- 所以 3200 对纯 decode 也不会明显加速，除非把 dense 权重/KV 也压到内存，或扩大 batch/上下文让激活集变大。优先"插满通道 + 够大"，2133 与 2633 的价差可以留给别处。
- 单卡 3090 对 R9700 的 prefill 快 1.5–1.8×，主轴是显存带宽（936 vs 640 GB/s）加 WMMA 路径，跟系统内存无关。
-
-
你這系統RAM八通道 系統又是放冷專家 瓶頸又回到 GPU稠密層的帶寬了啦 所以很明顯3090贏了
@dardeaw-feng 纯属测试strata
但是这两天用strata + 27b 处理文件的确很爽
不懂是之前用法不对还是怎样
现在strata 安排 27b 工作的模式出来的成绩是不错的 -
@applejuice 明白，那我前面的口径得修正：DDR4-2133 双通道理论带宽只有 ~34 GB/s（2133×8B×2），是八通道的 1/4。按「decode 吃内存带宽」的假设，双通道升八通道该有近 4 倍提升；可你实测 64GB→256GB 反而略降（109.9→105.2），这恰好反证 decode 不敏感系统内存带宽。
原因：MoE decode 每个 token 只读少量激活专家，llama.cpp 会把热专家和 dense 层尽量留在 GPU 显存/缓存里，2×3090 的 48GB 装得下，per-token 真正从 DRAM 读的不多，瓶颈在 GPU 显存带宽和 kernel 调度。所以：
- 3200 对 decode 没意义，2633 这套够用，价差省下来；
- 内存优先保「容量 + 通道数」，防专家换页（你 64GB 不够就是容量问题）；
- 想提 decode 优先动 GPU（加卡/换更高带宽卡）或调 batch、上下文；
- prefill 才更吃系统内存带宽——一次性读全权重，2×3090 能到 2.5~3.5k t/s 就是八通道在起作用。
另外 stxpnet 说的 calibrate 可以试：kv resident 65536 tokens + 32 个物理核心。
-
@dardeaw-feng 纯属测试strata
但是这两天用strata + 27b 处理文件的确很爽
不懂是之前用法不对还是怎样
现在strata 安排 27b 工作的模式出来的成绩是不错的@dardeaw-feng 纯属测试strata
但是这两天用strata + 27b 处理文件的确很爽
不懂是之前用法不对还是怎样
现在strata 安排 27b 工作的模式出来的成绩是不错的請問strata 安排 27b 工作的模式，實際如何操作？
-
@dardeaw-feng 纯属测试strata
但是这两天用strata + 27b 处理文件的确很爽
不懂是之前用法不对还是怎样
现在strata 安排 27b 工作的模式出来的成绩是不错的請問strata 安排 27b 工作的模式，實際如何操作？
@Charly-Cheng 我也很有興趣 27b純稠密還能拆嗎?
-
@dardeaw-feng 纯属测试strata
但是这两天用strata + 27b 处理文件的确很爽
不懂是之前用法不对还是怎样
现在strata 安排 27b 工作的模式出来的成绩是不错的請問strata 安排 27b 工作的模式，實際如何操作？
@Charly-Cheng 没那么神奇 就只是跑两套llm 然后hermes 设置 主agent strata 是负责检查 副agent 27b 负责动手
也不一定只有strata 可以这样做
纯属最近买了r9700 又加了ram 比较任性500k 上下文给strata 用
工作交给dense重申 我只是用来整理私人文件 真正的coding 工作都是claude
以前用27b 改文件死活改不好 -
@Charly-Cheng 没那么神奇 就只是跑两套llm 然后hermes 设置 主agent strata 是负责检查 副agent 27b 负责动手
也不一定只有strata 可以这样做
纯属最近买了r9700 又加了ram 比较任性500k 上下文给strata 用
工作交给dense重申 我只是用来整理私人文件 真正的coding 工作都是claude
以前用27b 改文件死活改不好@Charly-Cheng 没那么神奇 就只是跑两套llm 然后hermes 设置 主agent strata 是负责检查 副agent 27b 负责动手
也不一定只有strata 可以这样做
纯属最近买了r9700 又加了ram 比较任性500k 上下文给strata 用
工作交给dense重申 我只是用来整理私人文件 真正的coding 工作都是claude
以前用27b 改文件死活改不好我也有用hermes agent, 但是也只是透過telegram 給每個hermes agent 單獨下指令，想說如何讓一個hermes 驅動另一個hermes?
或是讓一個hermes agent 驅動另一個專門編程的agent?
個人是剛接觸這個區塊，有許多不懂的的地方請教。謝謝回答。 -
@Charly-Cheng 没那么神奇 就只是跑两套llm 然后hermes 设置 主agent strata 是负责检查 副agent 27b 负责动手
也不一定只有strata 可以这样做
纯属最近买了r9700 又加了ram 比较任性500k 上下文给strata 用
工作交给dense重申 我只是用来整理私人文件 真正的coding 工作都是claude
以前用27b 改文件死活改不好我也有用hermes agent, 但是也只是透過telegram 給每個hermes agent 單獨下指令，想說如何讓一個hermes 驅動另一個hermes?
或是讓一個hermes agent 驅動另一個專門編程的agent?
個人是剛接觸這個區塊，有許多不懂的的地方請教。謝謝回答。@Charly-Cheng 我也是新手
所以我说我做的没有那么高级我没有把工作交给另一个专门的agent
只有一个专门处理文件主agent
我只是把sub agent 设定是用27b
然后在主agent 的soul 写好 有什么更新文件的动作吧都写好要求 丢给sub agent
主agent 自然会把subagent 需要的资料写好交给subagent
subagent把工作弄好后 主agent 再检查
基本subagent 还是主agent 的一部分
只是处理跟执行的上下文分开了我一向来都不主张multiagent 协作
至少觉得不是我现阶段的应该用的模式 -
@Charly-Cheng 我也是新手
所以我说我做的没有那么高级我没有把工作交给另一个专门的agent
只有一个专门处理文件主agent
我只是把sub agent 设定是用27b
然后在主agent 的soul 写好 有什么更新文件的动作吧都写好要求 丢给sub agent
主agent 自然会把subagent 需要的资料写好交给subagent
subagent把工作弄好后 主agent 再检查
基本subagent 还是主agent 的一部分
只是处理跟执行的上下文分开了我一向来都不主张multiagent 协作
至少觉得不是我现阶段的应该用的模式@Charly-Cheng 我也是新手
所以我说我做的没有那么高级我没有把工作交给另一个专门的agent
只有一个专门处理文件主agent
我只是把sub agent 设定是用27b
然后在主agent 的soul 写好 有什么更新文件的动作吧都写好要求 丢给sub agent
主agent 自然会把subagent 需要的资料写好交给subagent
subagent把工作弄好后 主agent 再检查
基本subagent 还是主agent 的一部分
只是处理跟执行的上下文分开了我一向来都不主张multiagent 协作
至少觉得不是我现阶段的应该用的模式瞭解，謝謝解答。
-
刚换了 32gbx2 2133mhz 去 32gbx8 2633mhz
神奇的是 速度完全没有改变
所以 还没买内存的朋友 可能不需要追求3200 mhz 毕竟价钱 差不少原本是64gb 不够玩strata 又找不到便宜内存
刚好本地有人出2633 但是只有买10条才肯给折扣
所以忍痛买了顺便放下 单3090, 双3090, 单r9700 strata的对比
epyc7452Decode ( greedy, 1024 tokens, median of 3; range in brackets)
Workload 2x 3090 1x 3090 R9700 1x 3090 vs 2x R9700 vs 2x Chinese prose 104.8 t/s (96.4-108.3) 83.4 (76.2-83.5) 64.2 (59.8-65.6) -20 % -39 % Chinese chat 112.3 (110.0-112.7) 83.6 (82.3-84.2) 70.6 (66.5-72.6) -26 % -37 % English technical 109.2 (103.7-109.9) 83.1 (74.9-84.2) 70.6 (65.6-72.8) -24 % -35 % Code 159.7 (141.5-161.1) 117.5 (93.3-118.1) 108.4 (94.3-109.2) -26 % -32 % Prefill (cold prompts with a unique salt)
Prompt 2x 3090 1x 3090 R9700 19K 2,489 t/s (7.7 s) 1,912 (10.0 s) 1,039 (18.5 s) 43K 3,137 (13.7 s) 2,005 (21.5 s) 1,323 (32.5 s) 89K 3,523 (25.2 s) 2,030 (43.8 s) 1,156 (76.9 s) 123K 3,564 (34.4 s) 1,994 (61.4 s) 1,123 (109.0 s) IQ3_S vs IQ3_XXS on 2x RTX 3090
Decode
Workload IQ3_XXS, 64 GB RAM (2026-10-07) IQ3_XXS, 256 GB RAM IQ3_S, 256 GB RAM IQ3_S vs IQ3_XXS (same RAM) Chinese prose 109.9 t/s 105.2 (102.1-106.8) 104.8 (96.4-108.3) -0.4 % Chinese chat 112.2 115.8 (114.4-116.4) 112.3 (110.0-112.7) -3.0 % English technical 111.6 114.8 (114.5-115.6) 109.2 (103.7-109.9) -4.9 % Code 163.5 166.5 (153.9-167.2) 159.7 (141.5-161.1) -4.1 % Prefill
Prompt IQ3_XXS, 64 GB RAM IQ3_XXS, 256 GB RAM IQ3_S, 256 GB RAM IQ3_S vs IQ3_XXS (same RAM) 19K 2,571 t/s 2,563 (7.5 s) 2,489 (7.7 s) -2.9 % 43K 3,183 3,236 (13.3 s) 3,137 (13.7 s) -3.1 % 89K 3,585 3,649 (24.4 s) 3,523 (25.2 s) -3.5 % 123K 3,647 3,686 (33.2 s) 3,564 (34.4 s) -3.3 % 单张 3090 胜过 R9700:解码快 8-30%(代码场景差距最小),预填充约快 1.5-1.8 倍。
同一张 R9700 上的对比: vLLM 跑稠密模型 Qwen3.8-27B(MXFP4,DFlash2),解码为 42 / 52 / 81 / 181 t/s,19K 时预填充约 2,500 t/s。Strata 的 125B 在中文上更快(64-71 对 42-52),在代码和提示词处理上更慢。
IQ3_S 相比 IQ3_XXS 的代价很小:解码仅慢 0-5%,预填充约慢 3%,在 256K 以内召回表现相同,且其作者评定它与完整的 BF16 模型持平。它现在是默认选项(~/start_strata.sh)。
内存升级没有改变 2x 3090 的速度(IQ3_XXS 与 64 GB 时的数据相差在 ±3% 以内)。所以我暂时的决定就是双3090 跑strata， 单张r9700 跑vllm
@applejuice 大佬我在考虑 要不要 从 DDR4的 再往降低到DDR3 增加点 1866的频率 我看现在32G 250左右一根，128G 1000块 太性价比了
-
@applejuice 大佬我在考虑 要不要 从 DDR4的 再往降低到DDR3 增加点 1866的频率 我看现在32G 250左右一根，128G 1000块 太性价比了
