不管你信不信，单卡 3090 跑 Qwen3.8 Flash Next 可以到 100tok/s 了！

Prio

重新安装，让他自己调参数也是死，我明天重新看看

Harvey King

我之前也在ctx=long 還是 huge 糾結，結果我是接Hermes驛神外掛Deepseek 做了比較，結果發現 ctx=long 快不少。
我用的是thinking=low.

我好奇的是：我之沒有用Dflash2的原因是因爲他對顯存的要求比較高，我不認爲我塞得下。我目前的gpu util 是0.94, 再往上拉就會爆(OOM).
請問，你的併發是多少，還是你沒開併發？您的KV 等 Quant用得是？

我會拿你的參數回去試試。

我的參數如下：
• CPU: 2× Intel Xeon E5-2620 v3 @ 2.40 GHz
• RAM: 96 GB DDR4-2133 ECC
• Inference GPU: RTX 3090 24 GB (single card, PCIe 3.0 ×16)

Serving stack (syv-qwen38, vLLM 0.29.0 / syv-ai image 1cf8665)
• Model: Qwen3.8-27B-W4A16-AutoRound (dbirks checkpoint)
• Quantization: W4A16 = int4 weights (Intel AutoRound) + FP16 activations
• Activation quant: INT8_ACT=int8, INT8_LAYERS=mlp
• Speculative decode: SPEC=mtp, DRAFT_TOKENS=3 (built-in MTP draft head)
• KV cache: FP16, KVARN_POOL_MEM_FRAC=0.15 (tail-pool budget for 4 request slots)
• Vision: VISION=1 + VISION_OFFLOAD=1 (vision tower on, offloaded to CPU)
• Context: CTX=long, MAX_LEN=164000
• Prefix cache: PREFIX_CACHE=1
• Scheduling: MAX_SEQS=5, GPU_UTIL=0.94, ASYNC_SCHED=1
• Tools: TOOLS=1, TOOL_PARSER=qwen3_coder

我把3090的功率限制在265瓦。但這貌似不是問題。大部份的時候3090功耗在170瓦上下徘迴...

tom23

比较大的突破，个人主机也可以跟上线上大模型了

applejuice

跑了一个 20分钟的任务
3.8 flash 模型想很多
刚好昨天用3.8 27b 跑一轮结果不理想
今天3.8 flash 的确达成目的

Metric	Value
Duration	19.5 min (10:34:02 → 10:53:32)
Requests	47
Tool calls	46
Final answers	1
Context, first → last request	43,886 → 117,415 tokens
Output tokens, total	97,134
Engine busy	1,058 s (≈ 90% of the session)
Tool time on the client	≈ 112 s (≈ 10%)
Errors, cancelled requests, malformed tool calls	0

Decode speed (per request, all 47)

Statistic	t/s
p10	97.3
Median	100.9
Mean	104.9
p90	116.7
Min / max	95.4 / 121.9
Requests with 500+ output tokens (n = 27), median	99.4

Output length per request

Statistic	Tokens
p10	145
Median	1,127
Mean	2,066
p90	5,161
Max	7,654

Prefill

Kind of read	New tokens	Time	Rate
First request (cold)	43,886	~15 s	~2,900 t/s
Large addition (file read)	+6K to +16K	~4 s	—
Typical turn (110-117K conversation)	+486 to +1,332	0.65-1.4 s	dominated by the fixed start-up of ~0.5-1 s

GPU expert cache

Statistic	Hit rate
Median	99.5%
Min	98.2%

System load

Metric	Busy mean	Busy max	Idle mean
CPU usage	39.8%	50.4%	13.5%
CPU threads > 50% busy (of 64)	30.1	32	8.0
RAM used	49.97 GB	50.11 GB	49.98 GB
GPU metric	GPU0 busy mean	GPU0 max	GPU1 busy mean	GPU1 max
---	---	---	---	---
Utilisation	41.0%	100%	56.7%	100%
Power	235.9 W	244.5 W	246.8 W	265.5 W
SM clock	1,864 MHz	1,920 MHz	1,798 MHz	1,905 MHz
Core temperature	65.2 °C	67 °C	65.9 °C	67 °C
Hotspot	78.7 °C	80 °C	82.9 °C	85 °C

applejuice

这个引擎最大的的问题就只能单发

johnnybegood

@applejuice 更新的很快的，早晚什么都有，这就是ai vibe coding的好处，当然也有点可怕

deadnessking

@Quanta-Magic 4080s 32g魔改版，decode巅峰100左右，prefill在128k左右可以达到巅峰3700，用的是IQ3_S。不过我那个是服务器，256g内存随便浪

wei Dai

@abenzhu 我是V100 32G+E5-2686 V4+256G DDR4 2133.跑wen3.8-Flash-Next IQ3_XXS，我只跑到18token左右，还不如llama.cpp+Q4，两者速度一样。纠结死我了。

terry

@wei-Dai 这卡没有BF16，很多原生技术都不支持，以后新模型越来越不能玩，买个7900xtx或者3090吧。

wei Dai

@terry 我是DELL R730服务器，机器丢在公司，不怕声音大，我一直都是RDP连接的。所以V100 32G这张卡对我来说是性价比最高的卡。我跑27B模型，Q4-K-M+220K上下文，输出能到40T/S,我用得不错。

tszhoill

跑IQ3_S 的速度怎麼樣， 3090 96gb，但無論reasoning low or Medium 都是30-40t/s

Prio

@tszhoill 我也是3090 跑出来的数据跟你一样，不知道什么情况了

johnnybegood

@tszhoill 这速度肯定不对。把strata_main删掉全都重新设置来一遍。单卡3090，我coding测到过 100tok/s ，对话至少在60以上，平时80左右没问题的

tszhoill

@Prio 我發現問題了，首先是我ddr4跟cpu太入門級令速度有降低，但你用start here bat時加--calibrate 它就會自己幫你調參數， s跑60-80沒問題。 xxs會更快

johnnybegood

@tszhoill 玩着玩着就发现消费级CPU和主板根本不够用，一定要上工作站级别的。

张光璞

@johnnybegood 说:

@tszhoill 玩着玩着就发现消费级CPU和主板根本不够用，一定要上工作站级别的。

终究还是进入了军备竞赛的怪圈。

tszhoill

@johnnybegood 確實，因為家裡還裡還有其他顯卡，從這strata出來後就想弄個工作站，但在澳洲不知道找2手的應該看哪一種

九门奇人

最新版的STRATA，我的308012 G，32K上下文也能最高跑到110了，中位70

抡锤者

不管你信不信， 单卡 3090 跑 Qwen3.8 Flash Next 可以到 100tok/s 了！