不管你信不信， 单卡 3090 跑 Qwen3.8 Flash Next 可以到 100tok/s 了！

[johnnybegood]

@Ben-Lee 哈哈， 我给他做了一系列的模型测试， 跟在线的 minimax-M3 几乎一样甚至更好， 因为表现太好， 我已经让他代替27B开始本地干活了。

[applejuice]

@johnnybegood 你有用两块gpu 试试？

我的内存才有64 不够用

[johnnybegood]

@applejuice 是的， 我之前是 3090x2 , 结果一块啸叫坏了，去修了， 现在是 3090+3080， 目前strata就是把44G显存都用上了， 所以平时干活基本在 90tok/s 左右晃悠， 用的挺舒爽的， 256K 上下文。

[neo]

精度质量如何呀，有兄弟测试了吗

[Harvey King]

@Prio 請問， 您HyperQuen 如何做到166 token/sec ? 我也是3090單卡 HyperQwen， 我的速度在40Tok/sec 上下 164k 上下文 多謝

[Prio]

Harvey-King 说:

@Prio 請問， 您HyperQuen 如何做到166 token/sec ? 我也是3090單卡 HyperQwen， 我的速度在40Tok/sec 上下 164k 上下文 多謝

你可以设置 HyperQwen项目的long的启动模式，然后需要开启加速，然后关闭思考可以达到166token，开启思考有100token， 上下文150k。

我的启动命令如下：
ai-server:~$ cd ~/HyperQwen && grep -E '^(SPEC|CTX|PREFIX_CACHE|MODEL|MAX|GPU|PORT|TP|QUANT)' .env
SPEC=dflash2
CTX=long
PREFIX_CACHE=1
MODEL=/app/models/Qwen3.8-27B-Uncensored-W4A16-AutoRound

SPEC=dflash2 速度最快，

SPEC=mtp 速度慢

[kos or]

@Harvey-King said:

HyperQuen 如何做到166 token/sec

HyperQwen 27B這麼快喔？ 真可怕 怎麼突然間 TG 暴衝

[Prio]

大佬们，为什么我单卡 3090 实测 130k 上下文到达 65k的时候，每秒decode 就只有 15-26token输出了，单卡3090 pice X3 16 ，ddr3 96gb ，x99平台

[johnnybegood]

@Prio 监测一下3090的温度和功率输出， 看看是不是撞了温度墙了

[Prio]

@johnnybegood 温度正常66-70度，我在测试一下

[Prio]

@johnnybegood 启动命令如下：
--expert-cache auto
--prefill auto
--spec 4
--spec-min-p 0.5
--mtp /data/mtp/rt
--max-context 131072
--kv int8
--kv-resident 32768

-e MODEL=IQ3_XXS
-e FAMILY=swift
-e CONTEXT=131072
-e VISION=no
-e GPU=0

[johnnybegood]

@Prio 这个软件都不用自己调启动参数啊， 下载下来有个 START_HERE.bat 直接在终端执行， 回答几个问题， 它自动都给你配好了自动起来啊

[applejuice]

	Decode, code	Decode, English	Decode, Chinese chat	Prefill 19K	Prefill 89K
Strata Flash-Next 125B	134.6 t/s	91.1	88.8	2,613 t/s	3,661
SGLang Swift 1.5	273.2 t/s	117.0	76.3	3,019 t/s	2,018

让claude 设置了
还没真正用上

这个是可以用的速度
而且长上下文没影响

[Prio]

@applejuice 你这是双卡？

[applejuice]

@Prio 双卡

[Prio]

@johnnybegood

重新安装，让他自己调参数也是死，我明天重新看看

[Harvey King]

@Prio 謝謝

我之前也在ctx=long 還是 huge 糾結， 結果我是接Hermes驛神外掛Deepseek 做了比較， 結果發現 ctx=long 快不少。
我用的是thinking=low.

我好奇的是： 我之沒有用Dflash2的原因是因爲他對顯存的要求比較高， 我不認爲我塞得下。 我目前的gpu util 是0.94, 再往上拉就會爆(OOM).
請問， 你的併發是多少， 還是你沒開併發？ 您的KV 等 Quant用得是？

我會拿你的參數回去試試。

我的參數如下：
• CPU: 2× Intel Xeon E5-2620 v3 @ 2.40 GHz
• RAM: 96 GB DDR4-2133 ECC
• Inference GPU: RTX 3090 24 GB (single card, PCIe 3.0 ×16)

Serving stack (syv-qwen38, vLLM 0.29.0 / syv-ai image 1cf8665)
• Model: Qwen3.8-27B-W4A16-AutoRound (dbirks checkpoint)
• Quantization: W4A16 = int4 weights (Intel AutoRound) + FP16 activations
• Activation quant: INT8_ACT=int8, INT8_LAYERS=mlp
• Speculative decode: SPEC=mtp, DRAFT_TOKENS=3 (built-in MTP draft head)
• KV cache: FP16, KVARN_POOL_MEM_FRAC=0.15 (tail-pool budget for 4 request slots)
• Vision: VISION=1 + VISION_OFFLOAD=1 (vision tower on, offloaded to CPU)
• Context: CTX=long, MAX_LEN=164000
• Prefix cache: PREFIX_CACHE=1
• Scheduling: MAX_SEQS=5, GPU_UTIL=0.94, ASYNC_SCHED=1
• Tools: TOOLS=1, TOOL_PARSER=qwen3_coder

我把3090的功率限制在265瓦。 但這貌似不是問題。 大部份的時候3090功耗在170瓦上下徘迴...

[tom23]

比较大的突破，个人主机也可以跟上线上大模型了

[applejuice]

跑了 一个 20分钟的任务
3.8 flash 模型想很多
刚好昨天用3.8 27b 跑一轮 结果不理想
今天3.8 flash 的确达成目的

Metric	Value
Duration	19.5 min (10:34:02 → 10:53:32)
Requests	47
Tool calls	46
Final answers	1
Context, first → last request	43,886 → 117,415 tokens
Output tokens, total	97,134
Engine busy	1,058 s (≈ 90% of the session)
Tool time on the client	≈ 112 s (≈ 10%)
Errors, cancelled requests, malformed tool calls	0

Decode speed (per request, all 47)

Statistic	t/s
p10	97.3
Median	100.9
Mean	104.9
p90	116.7
Min / max	95.4 / 121.9
Requests with 500+ output tokens (n = 27), median	99.4

Output length per request

Statistic	Tokens
p10	145
Median	1,127
Mean	2,066
p90	5,161
Max	7,654

Prefill

Kind of read	New tokens	Time	Rate
First request (cold)	43,886	~15 s	~2,900 t/s
Large addition (file read)	+6K to +16K	~4 s	—
Typical turn (110-117K conversation)	+486 to +1,332	0.65-1.4 s	dominated by the fixed start-up of ~0.5-1 s

GPU expert cache

Statistic	Hit rate
Median	99.5%
Min	98.2%

System load

Metric	Busy mean	Busy max	Idle mean
CPU usage	39.8%	50.4%	13.5%
CPU threads > 50% busy (of 64)	30.1	32	8.0
RAM used	49.97 GB	50.11 GB	49.98 GB
GPU metric	GPU0 busy mean	GPU0 max	GPU1 busy mean	GPU1 max
---	---	---	---	---
Utilisation	41.0%	100%	56.7%	100%
Power	235.9 W	244.5 W	246.8 W	265.5 W
SM clock	1,864 MHz	1,920 MHz	1,798 MHz	1,905 MHz
Core temperature	65.2 °C	67 °C	65.9 °C	67 °C
Hotspot	78.7 °C	80 °C	82.9 °C	85 °C

[applejuice]

这个引擎最大的的问题就只能单发