不管你信不信， 单卡 3090 跑 Qwen3.8 Flash Next 可以到 100tok/s 了！
-
Harvey-King 说:
@Prio 請問， 您HyperQuen 如何做到166 token/sec ? 我也是3090單卡 HyperQwen， 我的速度在40Tok/sec 上下 164k 上下文 多謝
你可以设置 HyperQwen项目的long的启动模式，然后需要开启加速，然后关闭思考可以达到166token，开启思考有100token， 上下文150k。
我的启动命令如下：
ai-server:~$ cd ~/HyperQwen && grep -E '^(SPEC|CTX|PREFIX_CACHE|MODEL|MAX|GPU|PORT|TP|QUANT)' .env
SPEC=dflash2
CTX=long
PREFIX_CACHE=1
MODEL=/app/models/Qwen3.8-27B-Uncensored-W4A16-AutoRoundSPEC=dflash2 速度最快，
SPEC=mtp 速度慢
@Prio 謝謝
我之前也在ctx=long 還是 huge 糾結， 結果我是接Hermes驛神外掛Deepseek 做了比較， 結果發現 ctx=long 快不少。
我用的是thinking=low.我好奇的是： 我之沒有用Dflash2的原因是因爲他對顯存的要求比較高， 我不認爲我塞得下。 我目前的gpu util 是0.94, 再往上拉就會爆(OOM).
請問， 你的併發是多少， 還是你沒開併發？ 您的KV 等 Quant用得是？我會拿你的參數回去試試。
我的參數如下：
• CPU: 2× Intel Xeon E5-2620 v3 @ 2.40 GHz
• RAM: 96 GB DDR4-2133 ECC
• Inference GPU: RTX 3090 24 GB (single card, PCIe 3.0 ×16)Serving stack (syv-qwen38, vLLM 0.29.0 / syv-ai image 1cf8665)
• Model: Qwen3.8-27B-W4A16-AutoRound (dbirks checkpoint)
• Quantization: W4A16 = int4 weights (Intel AutoRound) + FP16 activations
• Activation quant: INT8_ACT=int8, INT8_LAYERS=mlp
• Speculative decode: SPEC=mtp, DRAFT_TOKENS=3 (built-in MTP draft head)
• KV cache: FP16, KVARN_POOL_MEM_FRAC=0.15 (tail-pool budget for 4 request slots)
• Vision: VISION=1 + VISION_OFFLOAD=1 (vision tower on, offloaded to CPU)
• Context: CTX=long, MAX_LEN=164000
• Prefix cache: PREFIX_CACHE=1
• Scheduling: MAX_SEQS=5, GPU_UTIL=0.94, ASYNC_SCHED=1
• Tools: TOOLS=1, TOOL_PARSER=qwen3_coder我把3090的功率限制在265瓦。 但這貌似不是問題。 大部份的時候3090功耗在170瓦上下徘迴...
-
-
跑了 一个 20分钟的任务
3.8 flash 模型想很多
刚好昨天用3.8 27b 跑一轮 结果不理想
今天3.8 flash 的确达成目的Metric Value Duration 19.5 min (10:34:02 → 10:53:32) Requests 47 Tool calls 46 Final answers 1 Context, first → last request 43,886 → 117,415 tokens Output tokens, total 97,134 Engine busy 1,058 s (≈ 90% of the session) Tool time on the client ≈ 112 s (≈ 10%) Errors, cancelled requests, malformed tool calls 0 Decode speed (per request, all 47)
Statistic t/s p10 97.3 Median 100.9 Mean 104.9 p90 116.7 Min / max 95.4 / 121.9 Requests with 500+ output tokens (n = 27), median 99.4 Output length per request
Statistic Tokens p10 145 Median 1,127 Mean 2,066 p90 5,161 Max 7,654 Prefill
Kind of read New tokens Time Rate First request (cold) 43,886 ~15 s ~2,900 t/s Large addition (file read) +6K to +16K ~4 s — Typical turn (110-117K conversation) +486 to +1,332 0.65-1.4 s dominated by the fixed start-up of ~0.5-1 s GPU expert cache
Statistic Hit rate Median 99.5% Min 98.2% System load
Metric Busy mean Busy max Idle mean CPU usage 39.8% 50.4% 13.5% CPU threads > 50% busy (of 64) 30.1 32 8.0 RAM used 49.97 GB 50.11 GB 49.98 GB GPU metric GPU0 busy mean GPU0 max GPU1 busy mean GPU1 max --- --- --- --- --- Utilisation 41.0% 100% 56.7% 100% Power 235.9 W 244.5 W 246.8 W 265.5 W SM clock 1,864 MHz 1,920 MHz 1,798 MHz 1,905 MHz Core temperature 65.2 °C 67 °C 65.9 °C 67 °C Hotspot 78.7 °C 80 °C 82.9 °C 85 °C -
-
这个引擎最大的的问题就只能单发
@applejuice 更新的很快的，早晚什么都有，这就是ai vibe coding的好处，当然也有点可怕
-
，
D Data Wu 引用了 此主题
-
@deadnessking 坐等你的4080s 结果， 是32g 魔改版吗？ 我也在考虑这张
@Quanta-Magic 4080s 32g魔改版，decode巅峰100左右，prefill在128k左右可以达到巅峰3700，用的是IQ3_S。不过我那个是服务器，256g内存随便浪
-
Strata 复现报告
目标：单卡 RTX 3090 + Xeon E5-2680 v4 + 128GB 4ch DDR4-2400 · Swift-1.5 Qwen3.8-Flash-Next IQ3_XXS (76GB) · 引擎 Strata 0.1.21 · 2026-09-29结论：复现成功。 Strata 跑出稳态 decode ~71 tok/s、prefill 618.5 tok/s， 相比同机 llama.cpp 的 11.18 tok/s，decode 提升 6.4×。官方对 RTX 3090 + IQ3_XXS 的短上下文估算约 103–106， 但那是基于 Ryzen 5 7600 + DDR5-5200 的外推（±20%）；本机 ~71 约低 30%，差距在主机侧（CPU/内存，见第 4 节）。
71.7
Strata decode（tok/s，稳态）
差分法，隔离 prefill/首 token
6.4×
vs llama.cpp decode
11.18 → 71.7 tok/s
618.5
Strata prefill（tok/s）
llama.cpp 481.4，1.29× -
@abenzhu 我是V100 32G+E5-2686 V4+256G DDR4 2133.跑wen3.8-Flash-Next IQ3_XXS，我只跑到18token左右，还不如llama.cpp+Q4，两者速度一样。纠结死我了。
-
-
-
-
-
-
@Prio 我發現問題了， 首先是我ddr4跟cpu太入門級 令速度有降低， 但你用start here bat時 加--calibrate 它就會自己幫你調參數， s跑60-80沒問題。 xxs會更快
-
@tszhoill 玩着玩着就发现消费级CPU和主板根本不够用， 一定要上工作站级别的。
-
@tszhoill 玩着玩着就发现消费级CPU和主板根本不够用， 一定要上工作站级别的。
@johnnybegood 確實， 因為家裡還裡還有其他顯卡， 從這strata出來後就想弄個工作站， 但在澳洲 不知道找2手的應該看哪一種
-
