DeepSeek-V4.1-Flash-1017 Strata版 AI 大模型能本地部署｜接入 Harness

[ka ka]

256有了 4卡臣妾有点做不到啊

[johnnybegood]

@kop-wang 3090 大概 20t/s

[Joseph Chen]

@kop-wang 不知道PREFILL 4卡有多少 ？

[Peace Love]

看起來是Strata 控制 DSV4.1 在專家模型那邊不是很適配, 等下一版再看看?

[J Z 0]

@williamlouis 研究半天，预估7900xtx单卡跑最小的iq2，大概10tps， 再等等吧，指不定什么时候又有黑科技出来呢。买现在这套就没想到会有strata，以为27b就是本地小破机器的极限了，买了老旧的5900xt和ddr4。不然肯定上最新的ddr5 pcie5了，感觉以后IO速度是一切的瓶颈

[dardeaw feng]

@J-Z-0 這種單併發的推論引擎 千萬別花大錢 說真的DS V4.1不是太貴的模型 為了這個再砸錢下去也頂多跑跑Q2
我用QFN一個多月了，對這模型只要上到4bit其能力就非常夠用了，玩strata就是為了性價比，當你偏離了性價比一切都顯得為了花錢而花錢

[J Z 0]

@dardeaw-feng 非常同意，我现在就在用unsloth的q4kxl，单卡60tps。就这么跑着，跑到qwen4 出来

[dardeaw feng]

@J-Z-0 對啊 我們就一直用Qwen，梁子不出甜品級模型我們就繼續用Qwen用到別家也投入這戰場

[perter]

Strata 0.2.6 提速了

[muskelon]

内存涨价前买了 8x32 ddr4 ecc 搭配4x4080 单并发70-80 t/s 好的情况下 能到100+ 干活方面确实要比 qfn 要强，同一个任务 qfn-q80没完成（干预了一次，不允许他使用subagent 我subagent 配置的是opus 5.5）dp 一次完成完全达到了我想要的效果 还有就是去审查是我本地部署的刚需 。

[hippo]

不要盯着decode看，prefill才是关键，ds v4.1这种模型 prefill不上个 1500基本没法用，不如线上API
R9700 prefill上不去应该是显存带宽太低的原因（我猜的）

[dardeaw feng]

@hippo 觀念完全正確 但無奈大家都只看decode

[muskelon]

@dardeaw-feng prefill确实很影响使用体验，本地调优后能到1700左右峰值 还算可以了

[dardeaw feng]

@muskelon 主要是qfn的廢話真的太多了 所以decode又變得大家很重視了，裝27b如果開思考也是花很多輪反覆思考，希望到Qwen4能改善這種過度自我檢討的壞習慣