【最新】Strata专为Deepseek V4.1 Flash 1017 + GLM 5.3做的新分支-Project-Maya

[Charly Cheng]

@applejuice

你的數據還不錯，應該是DDR5，我跑GLM 5.3，decode 只有 16 tok/s, 預填充也大約1k tok, 用polystrata 部署，decode 沒漲，預填充只有大約350 tok/s. 我關注GLM 5.3 模型，主要是他的專注力稀疏技術，在社群上的測試，是目前開源模型，在256k 上下文，長鏈任務，不會飄移的模型。
剛部署起來，打算找時間測試。
目前跑QFN IQ4 128k 上下文，長鏈任務飄移問題，有點頭痛，QFN Q4 256k, 長鏈任務，會因為長上下文召回率降低的問題，LLM 比較無法專注在任務主要的任務上。還需要叮嚀。
打算換GLM 5.3，測試。

[applejuice]

@Charly-Cheng 我是用ddr4 2633

[babyedi3]

其实strata的思路真的很适合mac studio统一内存。
比如m5 ultra的cpu真的强的没边，用它来配合gpu，简直天衣无缝。
而且统一内存还不用降低速度

[Charly Cheng]

@applejuice
我也是DDR4,怎麼相差這麼多！難道是顯卡的關係？ 我用的顯卡是RTX 5000 Ada.
還是你用雙顯卡？

[applejuice]

@Charly-Cheng 2张3090

[johnnybegood]

@tiger-tc 我 3090+3080 20g， 128G ddr4 3600， 也能跑到 25t/s

[Xiaote]

本帖参与讨论人数已达 10+，入选热议，作者 +3 积分奖励，感谢分享！

奖励凭证：热议 +3 分 · 编号 h2455-3984-1（系统自动发放，显示稍有延迟）

[muskelon]

4张4080系列 2x4080s + 2x4080 用strata 最新的0.2.4 1M上下文 ISTA DASLab 的Iq2xs 本地实测
实际输入 Prefill Decode 首 token（含思考）
32,732 token 703 tok/s 43.3 tok/s 46.6 秒
131,050 token 1,065 tok/s 42.9 tok/s 123.4 秒
单人使用可用 但是 想爽玩还是的QFN q80

[lunarmoon26]

我也在折腾 DeepSeek 1017，做了一个 Strata-DS 分支，当前部署和实测记录放在这里：双 RTX PRO 6000 + 48GB RAM 跑 DeepSeek 1017。

接下来准备和 Project Maya 对齐测试条件做一轮 benchmark，比较 prefill/decode、资源占用和工具调用，也看看能互相借鉴哪些优化。对照结果测完再更新，敬请期待！

[perter]

@tiger-tc 说:

提交的代码合并进官方版本了!

厉害了，新版已经支持DeepSeek V4.1-Flash 。
Strata 0.2.4: DeepSeek V4.1-Flash in the Terminal

[applejuice]

@perter 跑不动啊