7900xtx单卡魔改Strata跑Qwen3.8 flash next PP1300+ TG60-90

flyer666

好不容易放假了，我又开始鼓捣我的本地硬件了，最近X上Strata比较火，昨天正好支持了AMD 7900xtx，简单跑了一下支持最高精度的IQ3_S，基本上tg跑到了55，但是prefill才700多，差点意思，于是指挥deepseek v4.1把vllm上的专用wmma kernel搬过来，效果立竿见影，pp能到1300+左右。

啥也不说，先放PR:https://github.com/Niko1221/Strata/pull/260 找个趁手的Agent帮你部署一下就好了。

简单谈几个可能会被忽视的小细节：

这个引擎的专家基本都在RAM缓存，支持CPU/GPU混合计算，所以会看到一个奇怪现象：段上下文的pp/tg比长上下文的pp低，这主要是VRAM caching构建中的摩擦成本，所以这模型越用越快也是有点意思。刚开始随机跟它对话的话tg大概40左右，用dsh加一个9k的prompt居然tg到了50，考虑到这是个80GB+模型，这个引擎也算是agent圣体了。
下面是一个dsh 120k session的 tg随context下降的图表：
pp阶段主要瓶颈是pcie带宽，我本来是双卡7900xtx pcie48 拆分，把另一张卡关机拔了重启后主显卡自动获得pcie416，pp自动涨了+30%，tg也涨了10%。另外可以看到12GB 的5070 tg和24g的7900xtx一样，主要是因为人家是pcie5*16，估计未来R9700支持之后速度会更快，当然要搭配更贵的PCIE5主板和内存。

最后API server的拉起命令:

cd path/to/Strata
HIP_VISIBLE_DEVICES=0 PYTHONUNBUFFERED=1 \
  ~/.config/strata/venv/bin/python -m serve.server \
    --engine strata --config /home/jianwei/.config/strata/serve.json --port 8080

serve.json

{
  "exe": "/path/to/Strata/build-hip/strata-hip",
  "cwd": "/path/to/Strata",
  "args": [
    "--pack",
    "/path/to/Strata-data/packs/iq3_s",
    "--native",
    "/path/to/Strata-data/models/IQ3_S/Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S-00001-of-00002.gguf",
    "--ple-gguf",
    "/path/to/Strata-data/models/IQ3_S/Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S-00002-of-00002.gguf",
    "--expert-profile",
    "/path/to/Strata/data/expert-profile.bin",
    "--expert-cache",
    "auto",
    "--prefill",
    "2048",
    "--spec",
    "2",
    "--spec-min-p",
    "0.5",
    "--adapt-every",
    "2",
    "--pcie-frac",
    "0.30",
    "--kv",
    "int8",
    "--max-context",
    "262144",
    "--mtp",
    "/path/to/Strata-data/models/IQ3_S/mtp/rt"
  ],
  "tokenizer": "/path/to/Strata-data/packs/iq3_s/tokenizer",
  "model_name": "Qwen3.8-Flash-Next",
  "host": "0.0.0.0",
  "port": 8080
}

最后一两张截图：

Ben Lee

大神果然是大神，一出手就知道有没有。最近两周我测了很多Flash Next，要么decode高prefill低，要么decode低prefill高。我赶紧试试这个

abenzhu

qwen flash刚好卡在甜点配置上，如果Deepseekv4 flash和glm 5.3 flash能跑出一半的水平就牛了，但似乎很难。

Xiaote

版主审定：本帖设为精华，作者 +5 积分奖励，希望再接再厉！

奖励凭证：精华 +5 分 · 编号 f2016-2645-1（系统自动发放，显示稍有延迟）

terry

非常不错，弄个抄作业的帖子，资源分享下，可以参考弄个开源项目：
https://lcz.me/projects/local/dcs

张光璞

我昨天是让GLM 帮我弄的，最终跑在50 左右的速度，但在发一句话等太久。完全没有sglang 的爽脆。还是要大神出手才有救哇

这套架构吃CPU

applejuice

@张光璞不能把2块7900xtx 利用起来？

折腾下把r9700 跑起来

张光璞

@applejuice 说:

@张光璞不能把2块7900xtx 利用起来？

折腾下把r9700 跑起来

已经双7900xtx了

flyer666

@张光璞双卡有更快吗？我把第二张卡拆掉反而更快

张光璞

@flyer666 说:

@张光璞双卡有更快吗？我把第二张卡拆掉反而更快

还是50t ，但是双卡的gpu 占用都低了，以前能90+% 现在双卡gpu 占用都不超过75%

flyer666

@张光璞可以试下我的branch，单卡可以65tok/s，但是pp得看你的PCIE带宽

张光璞

@flyer666 说:

@张光璞可以试下我的branch，单卡可以65tok/s，但是pp得看你的PCIE带宽

我这个已经打上了您补丁。但刚刚wtftj又发布了V0.1.31 我正在奴役GLM 帮我弄。

我的Q3模型不是官方推荐的，用的越狱版，跟原版应该有点差异。

flyer666

@张光璞我10分钟前更新了branch链接

flyer666

他这个双卡是layer parallelism，一般来说pp会上升，tg会略有下降

张光璞

@flyer666 说:

@张光璞我10分钟前更新了branch链接

我正在弄，感谢大佬们的努力

抡锤者

7900xtx单卡魔改Strata跑Qwen3.8 flash next PP1300+ TG60-90