新手交作业:X99+DDR3+7900XTX 攒机和调试小结
-
大哥试下deepseek flash 4.1 吗?现在stratat可以跑的起来了
-
大哥试下deepseek flash 4.1 吗?现在stratat可以跑的起来了
-
-
-
-
-
-
-
-
-
-
感谢老特和小特的鼓励!稍后去装备秀发个贴。
再分享一下从昨晚到现在的一点儿收获,让Hermes去分析了大家热烈讨论的 https://github.com/nicejunjie/Strata-rdna3, 并对本地 Strata+IQ3_S 的配置进行了优化和测试,结果非常满意:
指标 10-27 基线 10-29(--long) Δ chat decode(中位) 80.60 80.50 持平 chat 首 token 0.32 s 0.31 s 持平 4K prefill 1222.10 2094.00 +71% 4K 首 token 3.31 s 1.95 s −41% 16K prefill 1770.60 2804.80 +58% 16K 首 token 9.11 s 5.77 s −37% 32K prefill 1834.00 3193.60 +74% 32K 首 token 17.53 s 10.09 s −42% agent 缓存命中 68.70% 68.65% 持平 agent re-read/session 4 (4–74) 74 (2–74) 持平 agent 回合首 token 3.26 s 2.54 s −22% agent decode 89.10 87.60 −2%(噪声内) 注:以上结果是在显卡功率上限333w、电压 - 50mv的约束下测得。
基于 strata-rdna3 优化的具体做法
nicejunjie/Strata-rdna3是上游 Strata 的 gfx1100(同款 7900 XTX)调优分叉。只取它的 env 配方,不合并代码树(落后上游、合并=完整重编+PCM 补丁重打)。流程五步:- 找配方:fork 的
docs/RDNA3_SETTINGS.md给出按 pack 的 env 开关集;同时确认本地arch_default_env("gfx1100")是空的——即这些调优路径在原版上默认全 OFF,是"免费的钱"。 - 重叠审计:对每个开关先
grep本地src/+strings -a engine/strata | grep -i <switch>,确认 0.1.45 已编译进对应内核。26 个开关本地存在 → env-only 即可生效;GR_RDNA*、RDNA_MMVQ_WAVE、RDNA_Q6K等 fork-only 内核不存在 → 记为日后 port 目标(decode 侧收益在那里)。 - env-only ABBA 验证:命令行一字不动,只往配置
env注入 26 个开关,官方 bench--runs 2 --long跑 ABBA——32K +70.4%,组内方差 ≤0.4%,是真效应不是漂移。 - 组归因:拆 wmma(+24%)/pf(+9%)/dec(+5.5%)/cpu(+5%) 单独臂——单加和只有 +43% 但全量 +74%,超可加(WMMA prompt attention 要靠 pf 预填路径喂),所以不能只挑单个开关上。
- 守则:他们的命令行不能抄(
--ple-io direct、--pcie-frac 0是 RAM 紧张机器的选择,本机ram+0.20是定案);数值不再逐位可复现(PF_F16=2、SELECT_WMMA),greedy sha256 回归测试要放宽;他们 CPU 是 9950X3D2,绝对值不可比,本机实测 3028。
两次采纳修改的参数对比
两次都是纯 env 修改,args 命令行完全未动:
修改 时间/验证 env 变化 args 变化 效果 ①STRATA_ROUTE_RESIDENT 10-27,ABBA×2 逐项验 /proc/environ 新增 1 个键:STRATA_ROUTE_RESIDENT=1 无 decode +17.5%,槽位/显存/草稿接受率不变,greedy 输出逐位一致 ②RDNA3 gfx1100 env set 10-28,ABBA(bench --runs 2 --long) 新增 26 个键(见下表) 无 4K/16K/32K prefill +70/+56/+70%,decode/TTFT/命中率不变;代价:greedy 不再逐位复现 env 键的前后对照(修改前生产 env 只有 3 个键):
类别 键(=值) 状态 原有基线 STRATA_HIPBLASLT_TUNING=<table-local-100401.txt>、STRATA_HIPBLASLT_VERBOSE=1、STRATA_ARENA_THP=1 10-27 前已有 修改① 新增 STRATA_ROUTE_RESIDENT=1 10-27 采纳 修改② WMMA 组 STRATA_HIP_WMMA=1、STRATA_SELECT_WMMA=1 10-28 采纳(+24%) 修改② 预填路径组 STRATA_PF_F16=2、PF_GEMM=1、PF_FUSED=1、PF_PAD=1、PF_HCDOWN=1、PREFILL_RING=192、PREFILL_AUTO_MAX=32768、STAGER_RING=64、KV_HOST_DMA=1 10-28 采纳(+9%) 修改② decode/融合组 GPU_MAX_HW_QUEUES=6、GDN_CHUNKED/CONVL2/HEAD/NOY/PP=1、HC_UPMIX=1、HEAD_MIX_MULTI=1、PA_FAST=1、QFUSE=1、FUSE_CONVAB=1、VERIFY_QDEDUP=1、SH_STREAM=0 10-28 采纳(+5.5%) 修改② CPU 分担组 STRATA_PREFILL_CPU_SHARE=auto、PREFILL_CPU_SHARE_MAX=6144 10-28 采纳(+5%) 当前生产 env 共 30 键(3 原有 + 1 + 26),已核对
strata-iq3s-0145.json;10-29 bench 的 prefill +60~74% 正是修改②的持续效果。 - 找配方:fork 的
-
感谢老特和小特的鼓励!稍后去装备秀发个贴。
再分享一下从昨晚到现在的一点儿收获,让Hermes去分析了大家热烈讨论的 https://github.com/nicejunjie/Strata-rdna3, 并对本地 Strata+IQ3_S 的配置进行了优化和测试,结果非常满意:
指标 10-27 基线 10-29(--long) Δ chat decode(中位) 80.60 80.50 持平 chat 首 token 0.32 s 0.31 s 持平 4K prefill 1222.10 2094.00 +71% 4K 首 token 3.31 s 1.95 s −41% 16K prefill 1770.60 2804.80 +58% 16K 首 token 9.11 s 5.77 s −37% 32K prefill 1834.00 3193.60 +74% 32K 首 token 17.53 s 10.09 s −42% agent 缓存命中 68.70% 68.65% 持平 agent re-read/session 4 (4–74) 74 (2–74) 持平 agent 回合首 token 3.26 s 2.54 s −22% agent decode 89.10 87.60 −2%(噪声内) 注:以上结果是在显卡功率上限333w、电压 - 50mv的约束下测得。
基于 strata-rdna3 优化的具体做法
nicejunjie/Strata-rdna3是上游 Strata 的 gfx1100(同款 7900 XTX)调优分叉。只取它的 env 配方,不合并代码树(落后上游、合并=完整重编+PCM 补丁重打)。流程五步:- 找配方:fork 的
docs/RDNA3_SETTINGS.md给出按 pack 的 env 开关集;同时确认本地arch_default_env("gfx1100")是空的——即这些调优路径在原版上默认全 OFF,是"免费的钱"。 - 重叠审计:对每个开关先
grep本地src/+strings -a engine/strata | grep -i <switch>,确认 0.1.45 已编译进对应内核。26 个开关本地存在 → env-only 即可生效;GR_RDNA*、RDNA_MMVQ_WAVE、RDNA_Q6K等 fork-only 内核不存在 → 记为日后 port 目标(decode 侧收益在那里)。 - env-only ABBA 验证:命令行一字不动,只往配置
env注入 26 个开关,官方 bench--runs 2 --long跑 ABBA——32K +70.4%,组内方差 ≤0.4%,是真效应不是漂移。 - 组归因:拆 wmma(+24%)/pf(+9%)/dec(+5.5%)/cpu(+5%) 单独臂——单加和只有 +43% 但全量 +74%,超可加(WMMA prompt attention 要靠 pf 预填路径喂),所以不能只挑单个开关上。
- 守则:他们的命令行不能抄(
--ple-io direct、--pcie-frac 0是 RAM 紧张机器的选择,本机ram+0.20是定案);数值不再逐位可复现(PF_F16=2、SELECT_WMMA),greedy sha256 回归测试要放宽;他们 CPU 是 9950X3D2,绝对值不可比,本机实测 3028。
两次采纳修改的参数对比
两次都是纯 env 修改,args 命令行完全未动:
修改 时间/验证 env 变化 args 变化 效果 ①STRATA_ROUTE_RESIDENT 10-27,ABBA×2 逐项验 /proc/environ 新增 1 个键:STRATA_ROUTE_RESIDENT=1 无 decode +17.5%,槽位/显存/草稿接受率不变,greedy 输出逐位一致 ②RDNA3 gfx1100 env set 10-28,ABBA(bench --runs 2 --long) 新增 26 个键(见下表) 无 4K/16K/32K prefill +70/+56/+70%,decode/TTFT/命中率不变;代价:greedy 不再逐位复现 env 键的前后对照(修改前生产 env 只有 3 个键):
类别 键(=值) 状态 原有基线 STRATA_HIPBLASLT_TUNING=<table-local-100401.txt>、STRATA_HIPBLASLT_VERBOSE=1、STRATA_ARENA_THP=1 10-27 前已有 修改① 新增 STRATA_ROUTE_RESIDENT=1 10-27 采纳 修改② WMMA 组 STRATA_HIP_WMMA=1、STRATA_SELECT_WMMA=1 10-28 采纳(+24%) 修改② 预填路径组 STRATA_PF_F16=2、PF_GEMM=1、PF_FUSED=1、PF_PAD=1、PF_HCDOWN=1、PREFILL_RING=192、PREFILL_AUTO_MAX=32768、STAGER_RING=64、KV_HOST_DMA=1 10-28 采纳(+9%) 修改② decode/融合组 GPU_MAX_HW_QUEUES=6、GDN_CHUNKED/CONVL2/HEAD/NOY/PP=1、HC_UPMIX=1、HEAD_MIX_MULTI=1、PA_FAST=1、QFUSE=1、FUSE_CONVAB=1、VERIFY_QDEDUP=1、SH_STREAM=0 10-28 采纳(+5.5%) 修改② CPU 分担组 STRATA_PREFILL_CPU_SHARE=auto、PREFILL_CPU_SHARE_MAX=6144 10-28 采纳(+5%) 当前生产 env 共 30 键(3 原有 + 1 + 26),已核对
strata-iq3s-0145.json;10-29 bench 的 prefill +60~74% 正是修改②的持续效果。 - 找配方:fork 的
-
-
-
-
-
-
-
买了一个利民4口风扇集线器,十几块钱,插在cpufan_1上,把cpu风扇和机箱顶部的两个风扇接上去,让系统根据cpu和gpu的温度来调速,之前那两个顶部风扇之前都是100%转速疯狂运转的,这下子安静多了!
之前脑子短路了,只想着在主板上找第二个可调速的接口,却忘了风扇可以并联。现在三个风扇的总电流不到1A,主板供电应该没问题。
非常感谢指点!
写的很详细,就是电源现在京东579元呀。
版主审定:本帖设为精华,作者 +5 积分奖励,希望再接再厉!
本帖参与讨论人数已达 10+,入选热议,作者 +3 积分奖励!