Strata 跑 GLM-5.3-Flash！Project Maya 实测：Maya-M / Maya-S/ Maya-S24 对比，以及怎么把 MTP 接受率从 6% 推到 70%

[farmer node]

本地部署未来可期，未来可期啊

[tom23]

r9700*2，256g内存跑估计可以了

[stxpnet]

@johnnybegood 666，老兄执行力太强啦！我也只是逛推时被算法推了一些信息，你是真跑通了。

后面希望作者继续打磨框架和模型，让低 bit 量化真正可用（顺带一提 IQ4_XS 这格式对 20/30 系显卡和 AVX2 CPU 都友好，这就是我双 3090 能跑起 Strata 的前提）。
我感觉GLM5.3 FLASH能上 50 t/s、KLD 降到 5% 以内就实用了。
（我目前在线用 GLM 5.3 Flash，经常给我限速 30 t/s，恶心的资本家！）

[johnnybegood]

@stxpnet 嗯， 等我3090修好回来， 我再双 3090测一下。 我觉得到40多应该没什么问题， 要稳定超过50的话， 可能要四通道内存+更好的cpu了，我这种消费级主板就不行了。

[johnnybegood]

@stxpnet 我实测跑了一些场景， 说实话个人感觉是比 Qwen3.8 flash 的 IQ3_S 好， 还真有点明显， 你觉得他更聪明一些。 也可能只是感觉。

[stxpnet]

这个还是得用一些 benchlocal或者 zxbench来实测半天，不然就只能纯靠自己的 感觉了。 目前来说我的IQ4_XS和glm 5.3 flash在线版体感差不多。 前者上下文256K，快2-3倍。后者有1M长上下文。

[stxpnet]

感觉升级更新啊,我3BIT的GLM 5.3 FLASH能本地跑50T/S我就会下载.

[johnnybegood]

@stxpnet 厉害了， 我再看看。这可是 glm5.3 啊！

[Ben Lee]

我也是前两天刚看到这个推送，大师们就上帖子了，感谢！

[johnnybegood]

@Ben-Lee 感觉 GLM5.3 还有优化空间， 将会成为比 QFN3.8 更合适的本地模型~

[applejuice]

@johnnybegood 我只希望两张3090 玩得起

[johnnybegood]

@applejuice 快试试

[terry]

strata是玩疯了，各种活都整起来了。

[Peng Xiao]

跑起来了。双L20.

[applejuice]

让claude 去跑了

	Maya-L	Maya-M	Strata (current default)
Model	GLM-5.3-Flash, 321B MoE	GLM-5.3-Flash, 321B MoE	Qwen3.8-Flash-Next, 125B MoE
Quant / size	IQ3_S experts, 156.3 GB	IQ2_S, 116 GB	IQ3_S
Engine	Project Maya v1.1.4	Project Maya v1.1.4	Strata 0.1.43
Context	131,072	131,072	524,288
Draft	MTP (on)	MTP (on)	MTP (on)

Decode (tokens/s)

Prompt	Maya-L	Maya-M	Strata
Maya --bench (3 prompts, 256 tokens, greedy)	30.2	44.0	-
English story	27.7	40.6	109.7
Chinese prose	31.6	43.1	105.8
Code	30.6	44.0	167.0
Reasoning, thinking on	31.3	41.5	-
Right after a 77K-token prompt	26.3	38.4	-

RAM and VRAM

	Maya-L	Maya-M	Strata
RAM used, whole system	~131 GB	~91 GB	~72 GB (with the R9700 vLLM)
Engine process	127 GB	87 GB	~67 GB
VRAM per 3090	23.8 GB	23.7 GB	~23.8 GB
Routed experts held in VRAM	55 %	69 %	-

[Peng Xiao]

最新的1.1.5版本性能提升明显

[johnnybegood]

@Peng-Xiao 你这个是Maya-L么还是Maya-M？ 速度确实显著快一些，显存真的很大。 我在双3090上面跟@applejuice 的测试结果基本一致。 40-43左右。

[David Chen]

拉沙發等decode 破百 , Prefill 破3000

[Tzung-Ru Tsai]

MAYA作者把KV-streaming的功能給出來了，長上下文可以像Strata那樣塞到RAM去，VRAM空間還給專家權重後效能向上提升

[Xiaote]

本帖参与讨论人数已达 10+，入选热议，作者 +3 积分奖励，感谢分享！

奖励凭证：热议 +3 分 · 编号 h2195-363-1（系统自动发放，显示稍有延迟）