不管你信不信， 单卡 3090 跑 Qwen3.8 Flash Next 可以到 100tok/s 了！

[johnnybegood]

@Prio 没试过， 我的散热环境比较好， 温度不高， 就没管功耗的事。 据说降个100W影响最多在 10%

[Xiaote]

版主审定：本帖设为精华，作者 +5 积分奖励，希望再接再厉！

奖励凭证：精华 +5 分 · 编号 f1988-363-1（系统自动发放，显示稍有延迟）

[kos or]

@vosrock said:

是20G，个人感觉这个卡要起飞

坐穩了，顯卡不要套利賣掉喔 賣飛了 可不好

[Ben Lee]

@johnnybegood 肝了两天，在我的7900XTX上跑通了Strata，刚发了新帖子详细记录了 https://lcz.me/topic/2027

实际 Context	Prefill	Decode
1,557	526.4 t/s	57.8 t/s
6,076	1131.9 t/s	57.3 t/s
12,100	1109.3 t/s	58.3 t/s
24,153	1270.7 t/s	51.7 t/s
48,254	1211.5 t/s	58.3 t/s
96,456	1164.2 t/s	59.2 t/s
190,516	1112.8 t/s	54.6 t/s
222,312	880.5 t/s	50.9 t/s
254,105	841.5 t/s	52.1 t/s

[johnnybegood]

@Ben-Lee 哈哈， 我给他做了一系列的模型测试， 跟在线的 minimax-M3 几乎一样甚至更好， 因为表现太好， 我已经让他代替27B开始本地干活了。

[applejuice]

@johnnybegood 你有用两块gpu 试试？

我的内存才有64 不够用

[johnnybegood]

@applejuice 是的， 我之前是 3090x2 , 结果一块啸叫坏了，去修了， 现在是 3090+3080， 目前strata就是把44G显存都用上了， 所以平时干活基本在 90tok/s 左右晃悠， 用的挺舒爽的， 256K 上下文。

[neo]

精度质量如何呀，有兄弟测试了吗

[Harvey King]

@Prio 請問， 您HyperQuen 如何做到166 token/sec ? 我也是3090單卡 HyperQwen， 我的速度在40Tok/sec 上下 164k 上下文 多謝

[Prio]

Harvey-King 说:

@Prio 請問， 您HyperQuen 如何做到166 token/sec ? 我也是3090單卡 HyperQwen， 我的速度在40Tok/sec 上下 164k 上下文 多謝

你可以设置 HyperQwen项目的long的启动模式，然后需要开启加速，然后关闭思考可以达到166token，开启思考有100token， 上下文150k。

我的启动命令如下：
ai-server:~$ cd ~/HyperQwen && grep -E '^(SPEC|CTX|PREFIX_CACHE|MODEL|MAX|GPU|PORT|TP|QUANT)' .env
SPEC=dflash2
CTX=long
PREFIX_CACHE=1
MODEL=/app/models/Qwen3.8-27B-Uncensored-W4A16-AutoRound

SPEC=dflash2 速度最快，

SPEC=mtp 速度慢

[kos or]

@Harvey-King said:

HyperQuen 如何做到166 token/sec

HyperQwen 27B這麼快喔？ 真可怕 怎麼突然間 TG 暴衝

[Prio]

大佬们，为什么我单卡 3090 实测 130k 上下文到达 65k的时候，每秒decode 就只有 15-26token输出了，单卡3090 pice X3 16 ，ddr3 96gb ，x99平台

[johnnybegood]

@Prio 监测一下3090的温度和功率输出， 看看是不是撞了温度墙了

[Prio]

@johnnybegood 温度正常66-70度，我在测试一下

[Prio]

@johnnybegood 启动命令如下：
--expert-cache auto
--prefill auto
--spec 4
--spec-min-p 0.5
--mtp /data/mtp/rt
--max-context 131072
--kv int8
--kv-resident 32768

-e MODEL=IQ3_XXS
-e FAMILY=swift
-e CONTEXT=131072
-e VISION=no
-e GPU=0

[johnnybegood]

@Prio 这个软件都不用自己调启动参数啊， 下载下来有个 START_HERE.bat 直接在终端执行， 回答几个问题， 它自动都给你配好了自动起来啊

[applejuice]

	Decode, code	Decode, English	Decode, Chinese chat	Prefill 19K	Prefill 89K
Strata Flash-Next 125B	134.6 t/s	91.1	88.8	2,613 t/s	3,661
SGLang Swift 1.5	273.2 t/s	117.0	76.3	3,019 t/s	2,018

让claude 设置了
还没真正用上

这个是可以用的速度
而且长上下文没影响

[Prio]

@applejuice 你这是双卡？

[applejuice]

@Prio 双卡

[Prio]

@johnnybegood

重新安装，让他自己调参数也是死，我明天重新看看