Arc Pro B70 32GB 在 Linux 上跑 XeStrata:Qwen3.8 Flash-Next 实测汇总,以及和 RTX PRO 4000 的对比
-
XeStrata 是什么:Strata 是一个在普通 PC 上跑 Qwen3.8 Flash-Next(约 125B 参数的 MoE 模型)的本地推理引擎:显存放不下的专家留在内存里由 CPU 计算,配合 MTP 推测解码,大幅降低了对显存的要求,16 GB 这类小显存显卡也能运行。上游支持的硬件很广:NVIDIA RTX 20–50 系列,AMD Radeon(RX 7000、9000 系列,AI PRO R9700)和 Strix Halo,Apple Silicon,以及 Linux 上的 Intel Arc(SYCL 移植版)。XeStrata 是它的分支,把 GPU 代码整体从 CUDA 改写成 SYCL 和 Level Zero,主要针对 Intel Arc 优化(XMX、oneMKL),同一套代码也能编译给 AMD 和 NVIDIA 显卡用;模型、安装方式和 API 与 Strata 基本一致。它分 free 和 contrib 两种编译方式,contrib 会用上 Intel 的 oneMKL。
这两周在一台 Ubuntu 主机上,用 Intel Arc Pro B70 和 XeStrata 跑 Qwen3.8 Flash-Next,测了不同内存容量、不同量化和长上下文下的速度,还做了一轮 IQ3_S 和 4 比特的回答质量对比,最后和同一台机器上的 RTX PRO 4000 做了对照。数据都是自己机器上的实测,每项一般只跑一次,仅供参考。
先说结论
- B70 + XeStrata 可以稳定使用:128 GB 内存下,IQ3_XXS 短问答约 93 tok/s,agent 每轮首 token 约 1.3 s,比同一张卡在 Windows 上快不少(主要是内存大了)。
- 内存容量影响最大:32 GB 下专家放不进内存;128 GB 下全部常驻,生成快约 20–45%,读提示词快约 45%。
- 4 比特不值得:B70 跑 4 比特时,生成速度只有 IQ3_XXS 的 70% 左右;而在我们的质量测试里,4 比特在 agent 长任务上没有比 IQ3_S 更好。
- 和 RTX PRO 4000(24 GB)插主槽比:跑同一个 IQ3_S,PRO 短问答快 38%,agent 生成快 63%,首 token 差不多。
- 我们的看法:大模型用途上,PRO 4000 更快、更省心。B70 的优势在生图和 32 GB 显存,详见第 8 节。
1. 硬件平台
项目 配置 显卡 ASRock Creator Arc Pro B70 32GB(Intel Arc Pro B70,BMG-G31) 显卡接法 CPU 直连主槽 PCIe 5.0 x16,ReBAR 32G,默认功耗上限 275 W CPU Intel i5-13600K(6P + 8E) 主板 MSI MAG B760M MORTAR WIFI DDR4 内存 4×32GB DDR4 3200,共 128 GB(另用 mem=64G内核参数测了 64 GB)硬盘 Lexar NM1090 PRO 2TB(模型和系统都在这块盘上) 电源 850 W SFX 注:32 GB 那组数据是升级前测的,当时是另一颗低功耗 CPU 加 32 GB 内存,下文单独标注。
2. 软件环境(最终状态)
项目 版本 系统 Ubuntu 26.04,内核 7.0.0-43(xe 驱动) 显卡固件 GuC 70.58.0,linux-firmware 20260319 Intel 用户态驱动 compute-runtime 26.40.40196、IGC 2.42.14(kobuk-team PPA) XeStrata main 721afe51(0.2.8-1),contrib 编译(oneMKL + XMX) 编译器 intel/llvm 7.2.0(XeStrata 的 setup 自动编译) 模型 Qwen3.8 Flash-Next:GSQ-RCO IQ3_XXS、IQ3_S(ISTA-DASLab);unsloth UD-Q4_K_XL 推理设置 128K 上下文,int8 KV,开启 MTP 推测解码,单路 3. XeStrata 部署流程
- 装驱动:Ubuntu 自带的 compute-runtime 太旧(XeStrata 要求 Level Zero 的 build 号不低于 38646),改用 kobuk-team PPA 的版本。装好后用
sycl-ls确认 B70 显示为level_zero:gpu。 - 放开锁内存限制:XeStrata 会锁定一部分内存页(pinned memory),默认的
ulimit -l(8 MiB)太小。在/etc/security/limits.d/下把用户的 memlock 设为 unlimited,重新登录后生效。 - 拉源码,建 Python 环境,然后运行:
python setup.py --license contrib --model IQ3_XXS --context 131072 --vision no --no-start --yes --data-dir <数据目录>- 第一次运行会编译 intel/llvm,我们用了约半小时,以后会复用。
--license contrib才会用上 oneMKL 和 XMX。启动日志里能看到 "prompt matrix products on oneMath (oneMKL)" 就说明生效了。- 模型直接从 Hugging Face 下载,setup 会校验 SHA-256。
- setup 会按内存大小自动生成配置,主要区别如下:
内存 专家放在哪 关键参数 32 GB 显存放约 50–60%,其余靠系统文件缓存或 SSD 32 GB 跑 IQ3_XXS 时加 --resident-experts;IQ3_S 时改为--mmap-experts(低内存模式)64 GB 显存加内存基本能放下 IQ3_XXS --pool-workers 9(9 个 CPU 专家线程)128 GB 全部常驻内存,n-gram 表也放内存 另加 --ple-io ram,以及--kv-resident 32768(KV streaming)- 用
serve/server.py --engine strata --config <配置>启动,默认只监听 127.0.0.1,接口兼容 OpenAI 和 Anthropic。
如果机器上同时装了 NVIDIA 驱动:XeStrata 的 setup 检测到
nvidia-smi时,会去编译 CUDA 版的 intel/llvm,既浪费时间也用不上。我们的做法是只在运行 setup 时,往 PATH 前面放一个直接返回失败的假nvidia-smi,把它屏蔽掉。另外,用不同的XDG_*目录把 XeStrata 和上游 Strata 的配置隔离开。4. 测试方法
- 速度:XeStrata 自带的
strata_bench,开思考模式(reasoning_effort = medium),每项 3 轮取中位数。- 短问答:约 44 个 token 的提问,生成 100 个 token。
- 4K / 16K 提示词:全新的长提示词,测读提示词的速度(prefill)。
- agent:带系统提示词和 4 个工具定义,连续 5 轮,每轮追加约 1500 词的文件内容,最后上下文约 11K token。记录每轮的首 token 时间和生成速度。
- 2 路并发:两个请求同时发出,统计合计的 tok/s。
- 质量:自己出的 18 道问答题(环境调试、运维、编程各 6 题,部分有陷阱),每题 2 轮;另有 4 个用 opencode 完成的 agent 长任务(写一个带测试的多文件小项目、只读巡检本机、从约 7 万 token 的日志里找故障、一串精确的哈希计算),每题 3 轮。主观题打乱顺序后盲评,代码题在断网容器里实际运行判分。
5. 测试结果
5.1 内存容量的影响(IQ3_XXS)
指标 Windows(32 GB)¹ 32 GB ² 64 GB 128 GB 短问答生成 tok/s 50.2 65.0 88.1 93.4 4K 提示词 tok/s — 1214 1692 1768 16K 提示词 tok/s 1843 1669 2352 2456 agent 每轮首 token(s) 1.9 1.91 1.33 1.28 agent 生成 tok/s 60.5 75.6 90.7 89.1 2 路并发合计 tok/s — — 71.8 71.0 ¹ 同一张卡此前在 Windows 上的成绩:R7 9700X,32 GB DDR5,XeStrata xe0.2.2-1。平台不同,仅作参考。
² 升级前的平台(低功耗 CPU,32 GB DDR4),内核 7.0.0-42,驱动 26.35。64 GB 到 128 GB 差别很小,说明 IQ3_XXS 有 64 GB 基本就够了。32 GB 时专家放不下,速度下降很明显。
5.2 量化档位(128 GB)
指标 IQ3_XXS IQ3_S UD-Q4_K_XL UD-Q4_K_XL(64 GB) 模型大小 约 76 GB 约 84 GB 约 111 GB 同左 短问答生成 tok/s 93.4 84.1 67.0 46.9 4K 提示词 tok/s 1768 1680 1399 425 16K 提示词 tok/s 2456 2399 2269 775 agent 每轮首 token(s) 1.28 1.34 1.65 4.96 agent 生成 tok/s 89.1 71.2 61.9 43.7 2 路并发合计 tok/s 71.0 51.2 53.1 32.6 - IQ3_S 读提示词几乎不慢,生成慢 10–20%。
- 4 比特在 128 GB 下还能用;64 GB 下专家要从 SSD 读,首 token 接近 5 秒,基本不可用。
- 参考:升级前 32 GB 跑 IQ3_S(低内存模式),4K 提示词只有 575 tok/s,agent 首 token 4.0 s,agent 生成 45.4 tok/s。
5.3 回答质量:IQ3_S 和 4 比特(B70 + XeStrata)
指标 IQ3_S UD-Q4_K_XL 问答 18 题,2 轮平均(满分 36) 24.5 29.5 opencode 长任务,3 轮平均(满分 18) 18.0 17.7 陷阱题踩中次数 1 0 端到端生成 tok/s(中位数) 90.6 67.3 - 4 比特在问答题上多 5 分,主要领先在运维类细节。但每组的差距和同一模型两轮之间的波动差不多大。
- opencode 长任务两者基本都是满分,4 比特还漏了一次关键日志行。说明这些任务对两者都不难,拉不开差距。
- 两个模型有共同的弱点:比如 4 份清理脚本里有 3 份在
set -e下写了(( x++ )),计数器为 0 时脚本直接退出。说明这是模型本身的盲区,不是量化造成的。 - 结论:IQ3_S 够用,为 4 比特多花的内存和速度代价不值得。
5.4 XeStrata 和上游 Strata(32 GB 阶段,同卡)
用 XeStrata 自带的对比功能(
setup.py --bench --original-strata v0.2.8):同一个模型文件,两个引擎轮流跑,各项取 2 次的中位数。上游用的是它的 SYCL 移植版,在容器里编译。这组数字的测法和上面的表格不同,只能用来比较两个引擎。指标 XeStrata 0.2.8-1 上游 Strata v0.2.8 SYCL 差别 1K 提示词 tok/s 1094 122 ×8.9 32K 提示词 tok/s 1896 1098 ×1.7 64K 提示词 tok/s 1887 1297 ×1.5 1K 上下文生成 tok/s 87.9 51.6 +70% 64K 上下文生成 tok/s 90.4 46.0 +97% 对话续轮等待(ms) 159–173 342–568 少 50–70% 在 Intel 卡上,XeStrata 比上游的 SYCL 版快得多,生成大约快 70–100%,短提示词的读入速度更是差了一个数量级。另外,XeStrata 的 tag 版 xe0.2.2-1 和 main(0.2.8-1)也比较过,差距在 2–11%,基本在噪声范围内。
6. 踩过的坑(已解决或已绕过)
问题 现象 处理 驱动版本太旧 系统自带的 compute-runtime 低于 XeStrata 的要求 改用 kobuk-team PPA 锁内存上限 默认 ulimit -l只有 8 MiB,setup 会给出提示在 limits.d 里把 memlock 设为 unlimited 同机有 NVIDIA 驱动 setup 会去编译 CUDA 版的 intel/llvm 运行 setup 时用一个假的 nvidia-smi把它屏蔽PCIe 链路显示 x1 sysfs 里 B70 显示 2.5 GT/s x1 这是卡内部桥接芯片的显示;看卡的上游端口,实际是 PCIe 5.0 x16,实测约 40 GB/s 空闲时风扇狂转 GPU 空闲进入省电状态后温度读数不再更新,固件按冻结的高温一直让风扇高转(IGCIT #1574;B70 没有 fan_control 的 late-binding 固件) 写了一个小服务:功耗低于 40 W、温度不低于 50°C 且 60 秒没变化时,跑 1 秒小计算唤醒 GPU,温度刷新后风扇就降下来了 短问答第一轮偏慢 冷启动第一轮只有约 47 tok/s,导致中位数范围很宽 对比时注意预热;看范围窄的指标(提示词速度)更可靠 4 比特放不进 64 GB 首 token 接近 5 秒 用 IQ3 档,或者上 128 GB 电感啸叫 满载时啸叫明显 没处理(可以考虑降低功耗上限,未测) 7. 仍然存在的问题
- XeStrata #42(最需要注意):Level Zero 注册宿主内存时没有真正锁住页面。系统整理内存(compaction)或换出(swap)把页面挪走后,会整段重新映射,导致 bcs 引擎 CAT 错误甚至卡死。内存越紧越容易出现,我们在 64 GB 加双卡负载时遇到过。修复在作者还没公开的开发分支里。临时办法是设
STRATA_NO_ARENA_THP=1,并把vm.compact_unevictable_allowed设为 0(我们没有长期采用,没有充分验证)。 - XeStrata 更新停了:main 从 10-30 起没有新提交,上面这个问题不知道什么时候能修。
- 日志显示 "pinned 0.00 GiB":常驻专家显示锁定 0 GiB,
ulimit -l已经是 unlimited,原因没查清,可能和 #42 有关。 - 功耗墙:重型负载(主要是 ComfyUI 跑大视频)时一直顶着 275 W 上限。我们换回旧内核对比过,结果一样,和内核无关。
- 风扇问题只能绕过:唤醒方案能用,但需要一个常驻服务,要等官方固件修复。
- 生态:XeStrata 是个人维护的分支;ComfyUI 侧的 Intel 优化(llm-scaler / Omni)要自己编译 oneDNN、内核扩展等,出了问题基本只能自己排查。
8. 和 RTX PRO 4000(24 GB,主槽)对比,以及我们的意见
同一台机器、同为 128 GB 内存、同一个测试脚本。PRO 4000 用上游 Strata v0.2.10(CUDA 预编译版),功耗上限 145 W,插在同一个 PCIe 5.0 x16 主槽。
指标 B70 IQ3_XXS PRO IQ3_XXS B70 IQ3_S PRO IQ3_S B70 Q4 PRO Q4 短问答生成 tok/s 93.4 132.4 84.1 116.1 67.0 53.0 4K 提示词 tok/s 1768 2354 1680 2200 1399 1346 16K 提示词 tok/s 2456 2923 2399 2891 2269 2846 agent 每轮首 token(s) 1.28 1.23 1.34 1.36 1.65 1.81 agent 生成 tok/s 89.1 127.3 71.2 115.7 61.9 58.7 2 路并发合计 tok/s 71.0 97.2 51.2 84.4 53.1 45.5 - IQ3 档(日常最实用):PRO 4000 生成快 40–60%,读提示词快 15–30%,首 token 两者差不多。
- 4 比特:B70 的 32 GB 显存能多放专家,生成反而比 PRO 快约 25%。但前面的质量测试说明,4 比特对实际使用没有明显帮助。
- 生图生视频(ComfyUI)方面,B70 在 SDXL、FLUX.1 这类生图项目上快 1.2–1.6 倍;FLUX.2、LTX-2.5、Wan 14B 这些重型项目则是 PRO 更快。另外 B70 的 32 GB 显存对视频有余量优势。
我们的意见
- 主要跑本地大模型、agent:选 PRO 4000 这类 NVIDIA 卡。速度快,生态成熟,没有 #42 和风扇这类问题,功耗也只有一半。
- 主要生图,看重 32 GB 显存,愿意自己折腾:B70 有价格和显存优势,在 Linux 上把 Intel 的优化栈部署好之后,生图速度确实不错。
- 想用 B70 跑大模型:内存至少 64 GB,最好 128 GB;量化用 IQ3_XXS 或 IQ3_S;避免内存吃紧(不要和其他大内存程序挤在一起),以减少触发 #42 的机会。
- 我们这台机器以大模型用途为主。如果以后有第二张卡的需求,可能会等价格合适的时候再买一张 RTX PRO 4000。
9. 说明与局限
- 每个配置基本只跑了一次(3 轮取中位数),单项差距在 5% 以内的可以视为噪声。
- 32 GB 那组数据的平台(CPU、内核和驱动版本)和后面不同,只能看大致趋势。
- 质量测试只有我们自己出的题,由一个人盲评,样本小,结论只适用于这类运维和编程场景。
- PRO 4000 用的是上游 Strata,B70 用的是 XeStrata,引擎版本不同,比的是“各自最好的软件栈”。
后续
接下来还会单独分享 B70 在 ComfyUI 上生图生视频的测试,覆盖目前主流的生图和生视频模型,包括在 Linux 上部署 Intel 优化栈的过程,以及和 RTX PRO 4000 的对比。
-
,
M Max Wang 引用了 此主题
-
版主审定:本帖设为优秀,作者 +3 积分奖励,继续加油!