【瞎折腾】Strata 改源码去跑 DeepSeek V4 Flash？要不就试试！

[terry]

挺折腾的，我弟，不过HaloGen当初只支持Qwen Flash，后来也能跑27B了，但好歹是一个家族。

[johnnybegood]

@terry 我看现在Strata太热了， 很多人脑子一热， 就要买新显卡， 装新机器了。 但是没考虑 Strata的扩展性如何，所以我做了这个测试。 谁也不想几万块买了硬件， 最后只能跑这一个或者几个模型啊， 我觉得通用性也很重要， 最后结尾也说了， 不通用。 当然这些工具和方法日新月异， 趁硬件便宜多屯一些也是可以的， 只是现在的价格真不是太合适了。

[neo]

附议你的想法，拿整机的能力去跑更大的模型，而不是只用GPU+VRAM，肯定是好事。qwen3.8-flash-next说到底是技术预览版，未来flash是否开源现在还难讲，strata未来是否支持deepseek这样的模型也是未知。如果到时qwen4-27B开源了，而falsh不开源，那又得回到原来27B的老路上了。所以只是升级下内存之类测试尝鲜flash-next还行，现在整机升级朝着这个方向走，感觉为时过早啊。

[vosrock]

不早了，晚了又要买高价硬件

[gao Gao]

有没有可能未来 新开源模型出来,自己用老模型+自定义Strata=新推理引擎+新模型 然后就能用了

[David Chen]

@gao-Gao 不用未來，我已經在弄了

[gao Gao]

@david-chen 你牛

[fcme]

deepseek的ngram架构确实很好，Qwen这个flash就用了啊，部分内容以查代算。
你这个一直再搞搞肯定是可以成功的，只不过工作量太大了，你要没有超级计算机的话

[johnnybegood]

@fcme 是的， 要写10000行代码， 还不一定成功。确实没时间。从硬件分析角度来说， 其实也收益不会太大。

[fcme]

@johnnybegood
确实，我花了两三天的时间想要把paiton框架用到的算子和内核移植到SGlang上面配合牛逼的缓存技术让本地跑27b的体验飞升。结果天不随我愿，虽然已经从官方版本的pp1100左右今天顶到了2350，TG也提高了大概35%左右，整体上已经几乎翻倍了，相比原生SGlang。但是还是不如paiton在vLLM下的绝对速度，最后各种尝试遍了以后发现还是内核支持的问题，哎，干这个工程量可就太大了，而且即使在AI时代有这个能力的人也不多吧。
还是要看大神们发挥了。

[stxpnet]

https://huggingface.co/peasantsmith/GLM-5.3-Flash-Maya-GGUF
有人已经做好了strata的fork了. 跑glm 5.3 flash,作者好像用的两张20系显卡.

速度
在两台配备 32GB 内存（30GB RAM）的 Tesla V100 上运行 Maya-S，并使用 Project Maya 进行测试：解码（写入答案）速度最高可达 40 个 token/s，支持 MTP 块草稿，即使在处理较长的上下文（60K tokens）时也能保持该速度；预填充（读取提示）速度最高可达 560 个 token/s。在一台配备 64GB RAM 的 Tesla V100 上：解码速度最高可达 19 个 token/s，预填充速度最高可达 370 个 token/s。 ./maya.sh --bench请以相同方式测试您的机器。

运行它
Project Maya（github.com/mw00/project-maya）：使用一到两块 NVIDIA GPU，其余模型位于 RAM 和 SSD 上；图片通过上述视觉文件显示。./setup.sh下载、检查并设置 Maya-S；./setup.sh --setup --model Maya-M设置 Maya-M。
llama.cpp构建支持 GLM-5.3-Flash ( glm5next)，可将其作为任何 GGUF 加载。

那些人一般用的claude code最强的套餐去改的这些框架.

[gao Gao]

看来用 智商 最高的大模型去 解决这类问题 实现拉一把小弟智商性能的 的渠道是可以打通的

[gao Gao]

@stxpnet 汇报下,单卡3090 24G 64G内存 64K上下文 Maya-S-v2-IQ2_XXS 不太会测试,仅供参考

[johnnybegood]

@gao-Gao 这。。。这个跟llama.cpp 0.6.0 直接跑也差不多了。

[gao Gao]

@johnnybegood 不是,我估计我内存上到96GB ,把ssd上的全部加载到内存,速度会明显提升

[stxpnet]

@gao-Gao 哈哈，这让我想起我之前在双路 XEON老机器 上面（16条16G DDR4 2133内存） 纯CPU跑122B的IQ4_XS模型，那里也能得到15-20T/S （用了proxmox的arc技术，把划64G给磁盘当缓存用，因此llama.cpp可以 秒速从内存里面读GGUF） 。
后来放弃了，速度真的太慢，不实用。 我感觉本地要40-50 T/S可以实用。 100T/S左右可以爽玩。

[Ben Lee]

@johnnybegood "... 于是我跟AI一起把 Strata 的说明书和源码翻了一遍，又用脚本把 Huihui-DeepSeek-V4-Flash-BF16-abliterated-ds4-Q4_K.gguf 的 GGUF 头解开逐层比对。..." 大侠你是这么过国庆节的啊

[Xiaote]

本帖参与讨论人数已达 10+，入选热议，作者 +3 积分奖励，感谢分享！

奖励凭证：热议 +3 分 · 编号 h2153-363-1（系统自动发放，显示稍有延迟）

[joker_chang]

我整个国庆节，除了开车在路上的时间，剩下全是telegram操控Hermes在折腾Strata。

在看到这个贴子前，我也在网上搜索，有没有大神采用类似的技术，本地跑deepseek v4.1 flash。

看来还是我太贪心了~

补一张我本机Hermes 调用strata的运行数据图：

[joker_chang]

@gao-Gao 大佬，这个模型的能力如何？您有没有测试过？