【瞎折腾】Strata 改源码去跑 DeepSeek V4 Flash？要不就试试！

[gao Gao]

@david-chen 你牛

[fcme]

deepseek的ngram架构确实很好，Qwen这个flash就用了啊，部分内容以查代算。
你这个一直再搞搞肯定是可以成功的，只不过工作量太大了，你要没有超级计算机的话

[johnnybegood]

@fcme 是的， 要写10000行代码， 还不一定成功。确实没时间。从硬件分析角度来说， 其实也收益不会太大。

[fcme]

@johnnybegood
确实，我花了两三天的时间想要把paiton框架用到的算子和内核移植到SGlang上面配合牛逼的缓存技术让本地跑27b的体验飞升。结果天不随我愿，虽然已经从官方版本的pp1100左右今天顶到了2350，TG也提高了大概35%左右，整体上已经几乎翻倍了，相比原生SGlang。但是还是不如paiton在vLLM下的绝对速度，最后各种尝试遍了以后发现还是内核支持的问题，哎，干这个工程量可就太大了，而且即使在AI时代有这个能力的人也不多吧。
还是要看大神们发挥了。

[stxpnet]

https://huggingface.co/peasantsmith/GLM-5.3-Flash-Maya-GGUF
有人已经做好了strata的fork了. 跑glm 5.3 flash,作者好像用的两张20系显卡.

速度
在两台配备 32GB 内存（30GB RAM）的 Tesla V100 上运行 Maya-S，并使用 Project Maya 进行测试：解码（写入答案）速度最高可达 40 个 token/s，支持 MTP 块草稿，即使在处理较长的上下文（60K tokens）时也能保持该速度；预填充（读取提示）速度最高可达 560 个 token/s。在一台配备 64GB RAM 的 Tesla V100 上：解码速度最高可达 19 个 token/s，预填充速度最高可达 370 个 token/s。 ./maya.sh --bench请以相同方式测试您的机器。

运行它
Project Maya（github.com/mw00/project-maya）：使用一到两块 NVIDIA GPU，其余模型位于 RAM 和 SSD 上；图片通过上述视觉文件显示。./setup.sh下载、检查并设置 Maya-S；./setup.sh --setup --model Maya-M设置 Maya-M。
llama.cpp构建支持 GLM-5.3-Flash ( glm5next)，可将其作为任何 GGUF 加载。

那些人一般用的claude code最强的套餐去改的这些框架.

[gao Gao]

看来用 智商 最高的大模型去 解决这类问题 实现拉一把小弟智商性能的 的渠道是可以打通的

[gao Gao]

@stxpnet 汇报下,单卡3090 24G 64G内存 64K上下文 Maya-S-v2-IQ2_XXS 不太会测试,仅供参考

[johnnybegood]

@gao-Gao 这。。。这个跟llama.cpp 0.6.0 直接跑也差不多了。

[gao Gao]

@johnnybegood 不是,我估计我内存上到96GB ,把ssd上的全部加载到内存,速度会明显提升

[stxpnet]

@gao-Gao 哈哈，这让我想起我之前在双路 XEON老机器 上面（16条16G DDR4 2133内存） 纯CPU跑122B的IQ4_XS模型，那里也能得到15-20T/S （用了proxmox的arc技术，把划64G给磁盘当缓存用，因此llama.cpp可以 秒速从内存里面读GGUF） 。
后来放弃了，速度真的太慢，不实用。 我感觉本地要40-50 T/S可以实用。 100T/S左右可以爽玩。

[Ben Lee]

@johnnybegood "... 于是我跟AI一起把 Strata 的说明书和源码翻了一遍，又用脚本把 Huihui-DeepSeek-V4-Flash-BF16-abliterated-ds4-Q4_K.gguf 的 GGUF 头解开逐层比对。..." 大侠你是这么过国庆节的啊

[Xiaote]

本帖参与讨论人数已达 10+，入选热议，作者 +3 积分奖励，感谢分享！

奖励凭证：热议 +3 分 · 编号 h2153-363-1（系统自动发放，显示稍有延迟）

[joker_chang]

我整个国庆节，除了开车在路上的时间，剩下全是telegram操控Hermes在折腾Strata。

在看到这个贴子前，我也在网上搜索，有没有大神采用类似的技术，本地跑deepseek v4.1 flash。

看来还是我太贪心了~

补一张我本机Hermes 调用strata的运行数据图：

[joker_chang]

@gao-Gao 大佬，这个模型的能力如何？您有没有测试过？

[gao Gao]

@joker_chang 我可不是大佬,我提升了内存到96G 测试下了速度还是不行,这个模型已经超过单卡3090的能力了,双卡我看论坛也有人发,速度也没有办法实际工作,我个人现在感觉 3090单卡+96GB或64GB 内存用 Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S ,128K上下文 parallel: 5 设置(刚开始运行会慢) + cc swtich +claude desktop 效果我目前感觉比 dsh 好,具体还要再使用一段时间. 随便提一下 Strata会把 cpu拉满(虽然显示50% 其实是100%功耗) 电费会很感人 我i7+4根32x2 16x2 +3090单卡限330w 整机最高实际功耗是500瓦

[johnnybegood]

@gao-Gao 其实就是能量守恒定律，消耗能量越高，说明性能发挥越充分，性能越强

[applejuice]

@gao-Gao 你是说strata 跑的时候会把cpu 拉满对吧?

[gao Gao]

@applejuice 是的,很奇怪我看见别人windows下是50%,但是我linux下也显示50%,但是我测试cpu的功耗已经满125瓦,然后我用小米的智能插座也倒算出基本cpu也是满的.

[gao Gao]

strata 2-3万元机器就能跑的很爽, 估计 GLM-5.3-Flash-Maya 需要5-8万的硬件组合了