【最新】Strata专为Deepseek V4.1 Flash 1017 + GLM 5.3做的新分支-Project-Maya
-
-
-
-
-
一直都有追踪
但是glm 5.3 flash 实在跑不动
50 decode, 1k prefill 没什么想玩的心你的數據還不錯，應該是DDR5，我跑GLM 5.3，decode 只有 16 tok/s, 預填充也大約1k tok, 用polystrata 部署，decode 沒漲，預填充只有大約350 tok/s. 我關注GLM 5.3 模型，主要是他的專注力稀疏技術，在社群上的測試，是目前開源模型，在256k 上下文，長鏈任務，不會飄移的模型。
剛部署起來，打算找時間測試。
目前跑QFN IQ4 128k 上下文，長鏈任務飄移問題，有點頭痛，QFN Q4 256k, 長鏈任務，會因為長上下文召回率降低的問題，LLM 比較無法專注在任務主要的任務上。還需要叮嚀。
打算換GLM 5.3，測試。 -
你的數據還不錯，應該是DDR5，我跑GLM 5.3，decode 只有 16 tok/s, 預填充也大約1k tok, 用polystrata 部署，decode 沒漲，預填充只有大約350 tok/s. 我關注GLM 5.3 模型，主要是他的專注力稀疏技術，在社群上的測試，是目前開源模型，在256k 上下文，長鏈任務，不會飄移的模型。
剛部署起來，打算找時間測試。
目前跑QFN IQ4 128k 上下文，長鏈任務飄移問題，有點頭痛，QFN Q4 256k, 長鏈任務，會因為長上下文召回率降低的問題，LLM 比較無法專注在任務主要的任務上。還需要叮嚀。
打算換GLM 5.3，測試。 -
-
@Charly-Cheng 我是用ddr4 2633
@applejuice
我也是DDR4,怎麼相差這麼多！難道是顯卡的關係？ 我用的顯卡是RTX 5000 Ada.
還是你用雙顯卡？ -
@applejuice
我也是DDR4,怎麼相差這麼多！難道是顯卡的關係？ 我用的顯卡是RTX 5000 Ada.
還是你用雙顯卡？@Charly-Cheng 2张3090
-
我在我的A40，48G显存+768G内存上，把DeepSeek-V4.1-Flash-1017的Q8量化，模型全放内存读，平均跑到了26T/S。已经有实用价值了，给项目提了PR，看能不能合并进去！专给大内存用户使用！
https://github.com/mw00/project-maya/pull/368
-
-
-
我也在折腾 DeepSeek 1017，做了一个 Strata-DS 分支，当前部署和实测记录放在这里：双 RTX PRO 6000 + 48GB RAM 跑 DeepSeek 1017。
接下来准备和 Project Maya 对齐测试条件做一轮 benchmark，比较 prefill/decode、资源占用和工具调用，也看看能互相借鉴哪些优化。对照结果测完再更新，敬请期待！
本帖参与讨论人数已达 10+，入选热议，作者 +3 积分奖励，感谢分享！