Strata 又更新了新版本提升巨大,3080 20g 速度 90+tokens 稳定三位数,但可能有智力 bug 不知道有没有解决办法,文末还有双路板跑 strata 的一些心得
-
-
最近更新到 Strata 最新的 0.2.2 版本,简单分享一下个人实测性能、新版隐性BUG、双路平台专属避坑方案,同时求助一些小问题!
- 主板:精粤 X99-8D3 2.5G 双路DDR3
- CPU:E5 2666V3*2
- 内存:64G ecc 四通道
- 显卡:3080 20g
0.2.2 版本 qwen3.8 fn iq3xxs 性能暴涨
新版优化幅度非常夸张,推理速度直接飙升至 90+ token/s 中位,常态可长时间稳定 100+ token/s ,是目前个人实测最快的Strata版本。
吞吐和响应速度提升有 10-20%。
但是测试出了一些隐性代价,不知道有没有解决办法:
从我开始测试Strata到现在 20 来天时间,我跑的都是超长时间、超高负载、大模型常驻全内存的重度任务,从未出现过任何死循环、卡死、逻辑卡死问题。即使是 LLM 总运行 700 多分钟的长链人物也是非常稳定
但升级 0.2.2 新版本后,首次遇到推理死循环卡死的异常情况。属实恼人

想问下各位好哥哥们:
有没有人升级0.2.2后遇到死循环、推理卡死、任务挂起不结束的情况?
是否有对应的修复/规避方案?**补充跑 strata 遇到的两个避坑点
**
专门给 双CPU、多核服务器平台 的玩家避坑,千万别踩雷!1:双路平台严禁分开NUMA内存池(核心BUG 的源头)
Strata新版自带NUMA本地缓存池逻辑,双路X99这类双CPU机器极易触发兼容BUG:
- 默认双路会分成两个独立内存池,Strata会错乱分配专家缓存、KV内存
- 导致随机卡死、掉速、内存溢出、诡异崩溃
正确解决方案
保持BIOS NUMA开启,启动强制全局内存交错统一池
不让两个CPU内存池分开工作,统一调度,彻底规避双路专属BUG
(单路用户无此问题,仅双路多核需要注意,千万不要让数据塞入显存的时候在两块 CPU 控制的不同内存池里面来回调度,速度能跌到 20 多)避坑点2:条件支持的话 CPU 一定要全开多核调度,严禁单核运行
Strata架构极度依赖CPU多核并行计算数据调控功能:
所有多核服务器U、双路平台,一定要放开全部核心调度权限,不要锁单核、不要限核心数!2666v3 单核算甚至能跌破十几 token 每秒总结
1. Strata 0.2.2 速度历史性暴涨,稳定90+、常态100+
2. 极速有代价:新增未知死循环 bug,疑似牺牲逻辑稳定性换速度,不知道大家有没有碰到类似情况
3. 双路用户必改:统一NUMA内存池,不要分开,CPU 多核多线程一定要在 strata 里打开这是单核弱智性能洋垃圾跑 strata 的关键
(AI 分析 strata 可能比较吃 CPU 多核性能,说不定换成 36 核还能提升速度,但可信度我认为还是存疑的,有这方面知识的好哥哥请求分享经验)

-
-
-
-
-
-
-
-
-
