DeepSeek-V4.1-Flash-1017 Strata版 AI 大模型能本地部署｜接入 Harness

[williamlouis]

内存的价格看来是降不了啦！需求越来越大。此配置需要64G内存。12G以上显存。推荐4070 Ti super 12G 以上。

Strata 项目部署与使用指南

一、下载 Strata 项目

• 夸克网盘：下载地址
• GitHub：Niko1221/Strata

二、下载模型文件

非手动下载用户可跳过此步骤。

可通过以下任一渠道下载模型文件：

• 夸克网盘：下载地址
• Hugging Face：ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF
• Hugging Face：unsloth/DeepSeek-V4.1-Flash-1017-GGUF（UD-Q8_K_XL）

三、下载推理引擎包

下载地址

• 夸克网盘：下载地址
• GitHub：Strata v0.2.5 Releases

引擎包名称

英伟达显卡对应的引擎包名称为：

strata-dsv41-0.1.50-windows-x86_64-cuda-cuda13.tar.gz

存放位置

将下载的压缩包解压到以下目录：

Strata-main\engine-dsv41

其中，Strata-main 是 Strata 项目的根目录。如果该目录下没有 engine-dsv41 文件夹，请手动创建。

四、下载启动文件

非手动下载用户可跳过此步骤。

下载地址

• 夸克网盘：下载地址
• GitHub：启动文件下载地址

存放位置

将下载得到的两个启动文件放入 Strata 项目根目录：

Strata-main\

五、运行 Strata 项目

1. 启动项目

根据下载方式选择对应的启动文件：

• 手动下载用户：双击项目根目录中的 START-HERE-have-model.bat。
• 非手动下载用户：双击项目根目录中的 START-HERE.bat。

2. 访问控制面板

项目启动后，在浏览器中访问：

http://127.0.0.1:8080/

3. 修改上下文长度

打开 Strata 项目根目录中符合以下命名规则的 JSON 文件：

strata-deepseek-v4.1-flash-ist-*.json

找到并修改其中的 --max-context 参数，即可调整上下文长度。

六、接入 DeepSeek Harness

DeepSeek 官网：https://www.deepseek.com/

按照下表填写接入参数：

参数	填写内容
Provider ID	deepseek-strata
显示名称	deepseek-strata
API 地址	http://127.0.0.1:8080/v1
API 协议	OpenAI Chat Completions
API Key	任意填写

配置完成后，点击 “获取可用模型”，添加并选择需要使用的模型。

[kop wang]

我看strata官方测试，4 x 9700 + 256RAM，才能做到decode 80t/s。

如果真是最低配置，是不是decode就已经没法看了。配上deepseek喜欢雷霆思考……

[terry]

128G内存玩玩QFN算了，要不了那么大的本地模型。

[ka ka]

256有了 4卡臣妾有点做不到啊

[johnnybegood]

@kop-wang 3090 大概 20t/s

[Joseph Chen]

@kop-wang 不知道PREFILL 4卡有多少 ？

[Peace Love]

看起來是Strata 控制 DSV4.1 在專家模型那邊不是很適配, 等下一版再看看?

[J Z 0]

@williamlouis 研究半天，预估7900xtx单卡跑最小的iq2，大概10tps， 再等等吧，指不定什么时候又有黑科技出来呢。买现在这套就没想到会有strata，以为27b就是本地小破机器的极限了，买了老旧的5900xt和ddr4。不然肯定上最新的ddr5 pcie5了，感觉以后IO速度是一切的瓶颈

[dardeaw feng]

@J-Z-0 這種單併發的推論引擎 千萬別花大錢 說真的DS V4.1不是太貴的模型 為了這個再砸錢下去也頂多跑跑Q2
我用QFN一個多月了，對這模型只要上到4bit其能力就非常夠用了，玩strata就是為了性價比，當你偏離了性價比一切都顯得為了花錢而花錢

[J Z 0]

@dardeaw-feng 非常同意，我现在就在用unsloth的q4kxl，单卡60tps。就这么跑着，跑到qwen4 出来

[dardeaw feng]

@J-Z-0 對啊 我們就一直用Qwen，梁子不出甜品級模型我們就繼續用Qwen用到別家也投入這戰場

[perter]

Strata 0.2.6 提速了