<![CDATA[不管你信不信， 单卡 3090 跑 Qwen3.8 Flash Next 可以到 100tok/s 了！]]>我自己也跑了跑 ，论坛里面已经有兄弟发了类似的帖子 https://lcz.me/topic/1987
只是他用的3080， 我就懒得详细弄了， 我跑的参数跟他不太一样， 只写几行提示， 感兴趣的兄弟自己去试验：

关键词：
1、单卡 3090 24G
2、64G 内存以上
3、 项目地址 https://github.com/Niko1221/Strata
4、 模型选用 swift-Qwen3.8 Flash Next IQ3_XXS 特别优化、无损接近Q4
5、上下文128K， Coding > 100tok/s , Chat> 60tok/s

多了不说了， 只贴一张图。3090真是潜力无限，我瘫坐在椅子上。
100tg.png

安装

环境要求

  • 显卡: NVIDIA RTX 30、40 或 50 系列,显存 12 GB 及以上
  • 内存: 足够装下你选择的模型大小
  • 磁盘: 约 80 GB 空闲空间 —— 用固态硬盘首次启动会快很多
  • 系统: Windows 10/11 或 Linux

唯一需要你自己装的是当前版本的 NVIDIA 驱动。其余全部由脚本自动装好。

Windows

  1. 下载本项目并解压(或 git clone)。
  2. 双击 START-HERE.bat。
  3. 回答几个问题,或一路按回车采用推荐选项。
  4. 下载全部内容(模型约 70 GB,首次耗时较久,支持断点续传)并启动。
  5. 浏览器打开 http://127.0.0.1:8080。

首次启动会很慢,可能 1–3 分钟无响应,属正常现象,不要关窗口。

下次启动

再双击 START-HERE.bat 即可,不会重复下载。关闭窗口即停止模型。

更新

解压新版或 git pull 后运行 START-HERE.bat。模型文件存在
Strata-data 文件夹,不会重复下载。

Linux

运行 ./setup.sh

]]>https://lcz.me/topic/1988RSS for NodeMon, 12 Oct 2026 10:13:24 GMTMon, 28 Sep 2026 17:09:10 GMT60<![CDATA[Reply to 不管你信不信， 单卡 3090 跑 Qwen3.8 Flash Next 可以到 100tok/s 了！ on Sun, 11 Oct 2026 03:10:30 GMT]]>最新版的STRATA，我的308012 G，32K上下文也能最高跑到110了 ，中位70

]]>https://lcz.me/post/23901https://lcz.me/post/23901Sun, 11 Oct 2026 03:10:30 GMT<![CDATA[Reply to 不管你信不信， 单卡 3090 跑 Qwen3.8 Flash Next 可以到 100tok/s 了！ on Fri, 09 Oct 2026 11:11:34 GMT]]>@johnnybegood 確實， 因為家裡還裡還有其他顯卡， 從這strata出來後就想弄個工作站， 但在澳洲 不知道找2手的應該看哪一種

]]>https://lcz.me/post/23562https://lcz.me/post/23562Fri, 09 Oct 2026 11:11:34 GMT<![CDATA[Reply to 不管你信不信， 单卡 3090 跑 Qwen3.8 Flash Next 可以到 100tok/s 了！ on Fri, 09 Oct 2026 09:56:00 GMT]]>

@johnnybegood 说:

@tszhoill 玩着玩着就发现消费级CPU和主板根本不够用， 一定要上工作站级别的。

终究还是进入了军备竞赛的怪圈。

]]>https://lcz.me/post/23541https://lcz.me/post/23541Fri, 09 Oct 2026 09:56:00 GMT<![CDATA[Reply to 不管你信不信， 单卡 3090 跑 Qwen3.8 Flash Next 可以到 100tok/s 了！ on Fri, 09 Oct 2026 09:15:32 GMT]]>@tszhoill 玩着玩着就发现消费级CPU和主板根本不够用， 一定要上工作站级别的。

]]>https://lcz.me/post/23527https://lcz.me/post/23527Fri, 09 Oct 2026 09:15:32 GMT<![CDATA[Reply to 不管你信不信， 单卡 3090 跑 Qwen3.8 Flash Next 可以到 100tok/s 了！ on Fri, 09 Oct 2026 08:05:36 GMT]]>@Prio 我發現問題了， 首先是我ddr4跟cpu太入門級 令速度有降低， 但你用start here bat時 加--calibrate 它就會自己幫你調參數， s跑60-80沒問題。 xxs會更快

]]>https://lcz.me/post/23514https://lcz.me/post/23514Fri, 09 Oct 2026 08:05:36 GMT<![CDATA[Reply to 不管你信不信， 单卡 3090 跑 Qwen3.8 Flash Next 可以到 100tok/s 了！ on Tue, 06 Oct 2026 23:53:22 GMT]]>@tszhoill 这速度肯定不对。把strata_main删掉全都重新设置来一遍。单卡3090，我coding测到过 100tok/s ，对话至少在60以上，平时80左右没问题的

]]>https://lcz.me/post/22928https://lcz.me/post/22928Tue, 06 Oct 2026 23:53:22 GMT<![CDATA[Reply to 不管你信不信， 单卡 3090 跑 Qwen3.8 Flash Next 可以到 100tok/s 了！ on Tue, 06 Oct 2026 19:23:27 GMT]]>@tszhoill 我也是3090 跑出来的数据跟你一样，不知道什么情况了

]]>https://lcz.me/post/22919https://lcz.me/post/22919Tue, 06 Oct 2026 19:23:27 GMT<![CDATA[Reply to 不管你信不信， 单卡 3090 跑 Qwen3.8 Flash Next 可以到 100tok/s 了！ on Tue, 06 Oct 2026 15:11:54 GMT]]>跑IQ3_S 的速度怎麼樣， 3090 96gb，但無論reasoning low or Medium 都是30-40t/s

]]>https://lcz.me/post/22876https://lcz.me/post/22876Tue, 06 Oct 2026 15:11:54 GMT<![CDATA[Reply to 不管你信不信， 单卡 3090 跑 Qwen3.8 Flash Next 可以到 100tok/s 了！ on Tue, 06 Oct 2026 14:47:58 GMT]]>@terry 我是DELL R730服务器，机器丢在公司，不怕声音大，我一直都是RDP连接的。所以V100 32G这张卡对我来说是性价比最高的卡。我跑27B模型，Q4-K-M+220K上下文，输出能到40T/S,我用得不错。

]]>https://lcz.me/post/22871https://lcz.me/post/22871Tue, 06 Oct 2026 14:47:58 GMT<![CDATA[Reply to 不管你信不信， 单卡 3090 跑 Qwen3.8 Flash Next 可以到 100tok/s 了！ on Tue, 06 Oct 2026 14:15:27 GMT]]>@wei-Dai 这卡没有BF16，很多原生技术都不支持，以后新模型越来越不能玩，买个7900xtx或者3090吧。

]]>https://lcz.me/post/22855https://lcz.me/post/22855Tue, 06 Oct 2026 14:15:27 GMT<![CDATA[Reply to 不管你信不信， 单卡 3090 跑 Qwen3.8 Flash Next 可以到 100tok/s 了！ on Tue, 06 Oct 2026 13:59:30 GMT]]>@abenzhu 我是V100 32G+E5-2686 V4+256G DDR4 2133.跑wen3.8-Flash-Next IQ3_XXS，我只跑到18token左右，还不如llama.cpp+Q4，两者速度一样。纠结死我了。

]]>https://lcz.me/post/22850https://lcz.me/post/22850Tue, 06 Oct 2026 13:59:30 GMT<![CDATA[Reply to 不管你信不信， 单卡 3090 跑 Qwen3.8 Flash Next 可以到 100tok/s 了！ on Mon, 05 Oct 2026 11:30:42 GMT]]>@Quanta-Magic 4080s 32g魔改版，decode巅峰100左右，prefill在128k左右可以达到巅峰3700，用的是IQ3_S。不过我那个是服务器，256g内存随便浪

]]>https://lcz.me/post/22578https://lcz.me/post/22578Mon, 05 Oct 2026 11:30:42 GMT<![CDATA[Reply to 不管你信不信， 单卡 3090 跑 Qwen3.8 Flash Next 可以到 100tok/s 了！ on Sun, 04 Oct 2026 23:15:43 GMT]]>@applejuice 更新的很快的，早晚什么都有，这就是ai vibe coding的好处，当然也有点可怕

]]>https://lcz.me/post/22460https://lcz.me/post/22460Sun, 04 Oct 2026 23:15:43 GMT<![CDATA[Reply to 不管你信不信， 单卡 3090 跑 Qwen3.8 Flash Next 可以到 100tok/s 了！ on Fri, 02 Oct 2026 05:29:30 GMT]]>这个引擎最大的的问题就只能单发

]]>https://lcz.me/post/21920https://lcz.me/post/21920Fri, 02 Oct 2026 05:29:30 GMT<![CDATA[Reply to 不管你信不信， 单卡 3090 跑 Qwen3.8 Flash Next 可以到 100tok/s 了！ on Fri, 02 Oct 2026 04:15:17 GMT]]>跑了 一个 20分钟的任务
3.8 flash 模型想很多
刚好昨天用3.8 27b 跑一轮 结果不理想
今天3.8 flash 的确达成目的

Metric Value
Duration 19.5 min (10:34:02 → 10:53:32)
Requests 47
Tool calls 46
Final answers 1
Context, first → last request 43,886 → 117,415 tokens
Output tokens, total 97,134
Engine busy 1,058 s (≈ 90% of the session)
Tool time on the client ≈ 112 s (≈ 10%)
Errors, cancelled requests, malformed tool calls 0

Decode speed (per request, all 47)

Statistic t/s
p10 97.3
Median 100.9
Mean 104.9
p90 116.7
Min / max 95.4 / 121.9
Requests with 500+ output tokens (n = 27), median 99.4

Output length per request

Statistic Tokens
p10 145
Median 1,127
Mean 2,066
p90 5,161
Max 7,654

Prefill

Kind of read New tokens Time Rate
First request (cold) 43,886 ~15 s ~2,900 t/s
Large addition (file read) +6K to +16K ~4 s —
Typical turn (110-117K conversation) +486 to +1,332 0.65-1.4 s dominated by the fixed start-up of ~0.5-1 s

GPU expert cache

Statistic Hit rate
Median 99.5%
Min 98.2%

System load

Metric Busy mean Busy max Idle mean
CPU usage 39.8% 50.4% 13.5%
CPU threads > 50% busy (of 64) 30.1 32 8.0
RAM used 49.97 GB 50.11 GB 49.98 GB
GPU metric GPU0 busy mean GPU0 max GPU1 busy mean GPU1 max
--- --- --- --- ---
Utilisation 41.0% 100% 56.7% 100%
Power 235.9 W 244.5 W 246.8 W 265.5 W
SM clock 1,864 MHz 1,920 MHz 1,798 MHz 1,905 MHz
Core temperature 65.2 °C 67 °C 65.9 °C 67 °C
Hotspot 78.7 °C 80 °C 82.9 °C 85 °C
]]>https://lcz.me/post/21914https://lcz.me/post/21914Fri, 02 Oct 2026 04:15:17 GMT<![CDATA[Reply to 不管你信不信， 单卡 3090 跑 Qwen3.8 Flash Next 可以到 100tok/s 了！ on Fri, 02 Oct 2026 03:42:30 GMT]]>比较大的突破，个人主机也可以跟上线上大模型了

]]>https://lcz.me/post/21912https://lcz.me/post/21912Fri, 02 Oct 2026 03:42:30 GMT<![CDATA[Reply to 不管你信不信， 单卡 3090 跑 Qwen3.8 Flash Next 可以到 100tok/s 了！ on Thu, 01 Oct 2026 19:49:03 GMT]]>@Prio 謝謝

我之前也在ctx=long 還是 huge 糾結， 結果我是接Hermes驛神外掛Deepseek 做了比較， 結果發現 ctx=long 快不少。
我用的是thinking=low.

我好奇的是： 我之沒有用Dflash2的原因是因爲他對顯存的要求比較高， 我不認爲我塞得下。 我目前的gpu util 是0.94, 再往上拉就會爆(OOM).
請問， 你的併發是多少， 還是你沒開併發？ 您的KV 等 Quant用得是？

我會拿你的參數回去試試。

我的參數如下：
• CPU: 2× Intel Xeon E5-2620 v3 @ 2.40 GHz
• RAM: 96 GB DDR4-2133 ECC
• Inference GPU: RTX 3090 24 GB (single card, PCIe 3.0 ×16)

Serving stack (syv-qwen38, vLLM 0.29.0 / syv-ai image 1cf8665)
• Model: Qwen3.8-27B-W4A16-AutoRound (dbirks checkpoint)
• Quantization: W4A16 = int4 weights (Intel AutoRound) + FP16 activations
• Activation quant: INT8_ACT=int8, INT8_LAYERS=mlp
• Speculative decode: SPEC=mtp, DRAFT_TOKENS=3 (built-in MTP draft head)
• KV cache: FP16, KVARN_POOL_MEM_FRAC=0.15 (tail-pool budget for 4 request slots)
• Vision: VISION=1 + VISION_OFFLOAD=1 (vision tower on, offloaded to CPU)
• Context: CTX=long, MAX_LEN=164000
• Prefix cache: PREFIX_CACHE=1
• Scheduling: MAX_SEQS=5, GPU_UTIL=0.94, ASYNC_SCHED=1
• Tools: TOOLS=1, TOOL_PARSER=qwen3_coder

我把3090的功率限制在265瓦。 但這貌似不是問題。 大部份的時候3090功耗在170瓦上下徘迴...

]]>https://lcz.me/post/21884https://lcz.me/post/21884Thu, 01 Oct 2026 19:49:03 GMT<![CDATA[Reply to 不管你信不信， 单卡 3090 跑 Qwen3.8 Flash Next 可以到 100tok/s 了！ on Thu, 01 Oct 2026 18:21:38 GMT]]>@johnnybegood
image.jpeg

重新安装，让他自己调参数也是死，我明天重新看看

]]>https://lcz.me/post/21880https://lcz.me/post/21880Thu, 01 Oct 2026 18:21:38 GMT<![CDATA[Reply to 不管你信不信， 单卡 3090 跑 Qwen3.8 Flash Next 可以到 100tok/s 了！ on Thu, 01 Oct 2026 17:02:43 GMT]]>@Prio 双卡

]]>https://lcz.me/post/21875https://lcz.me/post/21875Thu, 01 Oct 2026 17:02:43 GMT<![CDATA[Reply to 不管你信不信， 单卡 3090 跑 Qwen3.8 Flash Next 可以到 100tok/s 了！ on Thu, 01 Oct 2026 17:00:25 GMT]]>@applejuice 你这是双卡？

]]>https://lcz.me/post/21873https://lcz.me/post/21873Thu, 01 Oct 2026 17:00:25 GMT<![CDATA[Reply to 不管你信不信， 单卡 3090 跑 Qwen3.8 Flash Next 可以到 100tok/s 了！ on Thu, 01 Oct 2026 16:50:01 GMT]]> Decode, code Decode, English Decode, Chinese chat Prefill 19K Prefill 89K Strata Flash-Next 125B 134.6 t/s 91.1 88.8 2,613 t/s 3,661 SGLang Swift 1.5 273.2 t/s 117.0 76.3 3,019 t/s 2,018

让claude 设置了
还没真正用上

这个是可以用的速度
而且长上下文没影响

]]>https://lcz.me/post/21870https://lcz.me/post/21870Thu, 01 Oct 2026 16:50:01 GMT<![CDATA[Reply to 不管你信不信， 单卡 3090 跑 Qwen3.8 Flash Next 可以到 100tok/s 了！ on Thu, 01 Oct 2026 16:49:26 GMT]]>@Prio 这个软件都不用自己调启动参数啊， 下载下来有个 START_HERE.bat 直接在终端执行， 回答几个问题， 它自动都给你配好了自动起来啊

]]>https://lcz.me/post/21869https://lcz.me/post/21869Thu, 01 Oct 2026 16:49:26 GMT<![CDATA[Reply to 不管你信不信， 单卡 3090 跑 Qwen3.8 Flash Next 可以到 100tok/s 了！ on Thu, 01 Oct 2026 16:39:45 GMT]]>@johnnybegood 启动命令如下：
--expert-cache auto
--prefill auto
--spec 4
--spec-min-p 0.5
--mtp /data/mtp/rt
--max-context 131072
--kv int8
--kv-resident 32768

-e MODEL=IQ3_XXS
-e FAMILY=swift
-e CONTEXT=131072
-e VISION=no
-e GPU=0

]]>https://lcz.me/post/21867https://lcz.me/post/21867Thu, 01 Oct 2026 16:39:45 GMT<![CDATA[Reply to 不管你信不信， 单卡 3090 跑 Qwen3.8 Flash Next 可以到 100tok/s 了！ on Thu, 01 Oct 2026 16:38:24 GMT]]>@johnnybegood 温度正常66-70度，我在测试一下

]]>https://lcz.me/post/21866https://lcz.me/post/21866Thu, 01 Oct 2026 16:38:24 GMT