DeepSeek-V4.1-Flash-1017 Strata版 AI 大模型能本地部署｜接入 Harness
-
-
-
-
我看strata官方测试，4 x 9700 + 256RAM，才能做到decode 80t/s。
如果真是最低配置，是不是decode就已经没法看了。配上deepseek喜欢雷霆思考……
-
我看strata官方测试，4 x 9700 + 256RAM，才能做到decode 80t/s。
如果真是最低配置，是不是decode就已经没法看了。配上deepseek喜欢雷霆思考……
@kop-wang 不知道PREFILL 4卡有多少 ？
-
看起來是Strata 控制 DSV4.1 在專家模型那邊不是很適配, 等下一版再看看?
-
内存的价格看来是降不了啦！需求越来越大。此配置需要64G内存。12G以上显存。推荐4070 Ti super 12G 以上。
Strata 项目部署与使用指南
一、下载 Strata 项目
- 夸克网盘：下载地址
- GitHub：Niko1221/Strata
二、下载模型文件
非手动下载用户可跳过此步骤。
可通过以下任一渠道下载模型文件：
- 夸克网盘：下载地址
- Hugging Face：ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF
- Hugging Face：unsloth/DeepSeek-V4.1-Flash-1017-GGUF（UD-Q8_K_XL）
三、下载推理引擎包
下载地址
- 夸克网盘：下载地址
- GitHub：Strata v0.2.5 Releases
引擎包名称
英伟达显卡对应的引擎包名称为：
strata-dsv41-0.1.50-windows-x86_64-cuda-cuda13.tar.gz存放位置
将下载的压缩包解压到以下目录：
Strata-main\engine-dsv41其中，
Strata-main是 Strata 项目的根目录。如果该目录下没有engine-dsv41文件夹，请手动创建。四、下载启动文件
非手动下载用户可跳过此步骤。
下载地址
存放位置
将下载得到的两个启动文件放入 Strata 项目根目录：
Strata-main\五、运行 Strata 项目
1. 启动项目
根据下载方式选择对应的启动文件：
- 手动下载用户：双击项目根目录中的
START-HERE-have-model.bat。 - 非手动下载用户：双击项目根目录中的
START-HERE.bat。
2. 访问控制面板
项目启动后，在浏览器中访问：
http://127.0.0.1:8080/3. 修改上下文长度
打开 Strata 项目根目录中符合以下命名规则的 JSON 文件：
strata-deepseek-v4.1-flash-ist-*.json找到并修改其中的
--max-context参数，即可调整上下文长度。六、接入 DeepSeek Harness
DeepSeek 官网：https://www.deepseek.com/
按照下表填写接入参数：
参数 填写内容 Provider ID deepseek-strata显示名称 deepseek-strataAPI 地址 http://127.0.0.1:8080/v1API 协议 OpenAI Chat CompletionsAPI Key 任意填写 配置完成后，点击 “获取可用模型”，添加并选择需要使用的模型。
-
@williamlouis 研究半天，预估7900xtx单卡跑最小的iq2，大概10tps， 再等等吧，指不定什么时候又有黑科技出来呢。买现在这套就没想到会有strata，以为27b就是本地小破机器的极限了，买了老旧的5900xt和ddr4。不然肯定上最新的ddr5 pcie5了，感觉以后IO速度是一切的瓶颈
-
@J-Z-0 這種單併發的推論引擎 千萬別花大錢 說真的DS V4.1不是太貴的模型 為了這個再砸錢下去也頂多跑跑Q2
我用QFN一個多月了，對這模型只要上到4bit其能力就非常夠用了，玩strata就是為了性價比，當你偏離了性價比一切都顯得為了花錢而花錢 -
@dardeaw-feng 非常同意，我现在就在用unsloth的q4kxl，单卡60tps。就这么跑着，跑到qwen4 出来
-
