【最新】Strata专为Deepseek V4.1 Flash 1017 + GLM 5.3做的新分支-Project-Maya

[terry]

这个其实没啥尝试的必要，开销太大，完全不如用在线，需要隐私抗审查，27B和QFN足够了。
另外从仓库来看，不能证明是strata自己出的，估计碰瓷。

[joker_chang]

看了下各种硬件下的速度，我的是跑不动的~

[stxpnet]

直接买就行了，只要你不在意隐私，或者搞两张华为96G显卡

[kos or]

Deepseek V4.1 Flash 1017 的表現有機會強過 QFN

GLM 5.3有人測試過好像不令人驚艷, TPS的效率開銷大

[tiger tc]

我在我的A40，48G显存+768G内存上，把DeepSeek-V4.1-Flash-1017的Q8量化，模型全放内存读，平均跑到了26T/S。已经有实用价值了，给项目提了PR，看能不能合并进去！专给大内存用户使用！
https://github.com/mw00/project-maya/pull/368

[tiger tc]

提交的代码合并进官方版本了!

[terry]

@tiger-tc 这么牛逼，恭喜了！

[Charly Cheng]

@applejuice

你的數據還不錯，應該是DDR5，我跑GLM 5.3，decode 只有 16 tok/s, 預填充也大約1k tok, 用polystrata 部署，decode 沒漲，預填充只有大約350 tok/s. 我關注GLM 5.3 模型，主要是他的專注力稀疏技術，在社群上的測試，是目前開源模型，在256k 上下文，長鏈任務，不會飄移的模型。
剛部署起來，打算找時間測試。
目前跑QFN IQ4 128k 上下文，長鏈任務飄移問題，有點頭痛，QFN Q4 256k, 長鏈任務，會因為長上下文召回率降低的問題，LLM 比較無法專注在任務主要的任務上。還需要叮嚀。
打算換GLM 5.3，測試。

[applejuice]

@Charly-Cheng 我是用ddr4 2633

[babyedi3]

其实strata的思路真的很适合mac studio统一内存。
比如m5 ultra的cpu真的强的没边，用它来配合gpu，简直天衣无缝。
而且统一内存还不用降低速度

[Charly Cheng]

@applejuice
我也是DDR4,怎麼相差這麼多！難道是顯卡的關係？ 我用的顯卡是RTX 5000 Ada.
還是你用雙顯卡？

[applejuice]

@Charly-Cheng 2张3090

[johnnybegood]

@tiger-tc 我 3090+3080 20g， 128G ddr4 3600， 也能跑到 25t/s

[Xiaote]

本帖参与讨论人数已达 10+，入选热议，作者 +3 积分奖励，感谢分享！

奖励凭证：热议 +3 分 · 编号 h2455-3984-1（系统自动发放，显示稍有延迟）

[muskelon]

4张4080系列 2x4080s + 2x4080 用strata 最新的0.2.4 1M上下文 ISTA DASLab 的Iq2xs 本地实测
实际输入 Prefill Decode 首 token（含思考）
32,732 token 703 tok/s 43.3 tok/s 46.6 秒
131,050 token 1,065 tok/s 42.9 tok/s 123.4 秒
单人使用可用 但是 想爽玩还是的QFN q80

[lunarmoon26]

我也在折腾 DeepSeek 1017，做了一个 Strata-DS 分支，当前部署和实测记录放在这里：双 RTX PRO 6000 + 48GB RAM 跑 DeepSeek 1017。

接下来准备和 Project Maya 对齐测试条件做一轮 benchmark，比较 prefill/decode、资源占用和工具调用，也看看能互相借鉴哪些优化。对照结果测完再更新，敬请期待！