抡锤者

@stxpnet 说: QWEN4 能不能和deepseek flash 1017 掰掰手腕？ 有难度，4.1的能力是参数翻倍后实现的，qwen flash只有120B参数，如果不扩的话，应该很难有来有回。 目前的benchmark跑分体系就更难了，因为各个跑分网站都调整了评价权重，对于模型的参数量大小更敏感。

@kos-or 说: 本地 deepseek flash 1017 用哪一個量化版本的呢？本地跑很慢 可能它比較適合非常困難的任務 目前来说速度不达标，不考虑，不折腾。 现在好几家国外API公司的 deepseek flash 1017都是白菜价。10美元左右的档位。直接站起来蹬。 智商是QFN 3.8的3-6倍吧。 这让我们这些本地卡算力不够的玩家很尴尬。 [image: image.jpeg] 我的真实任务目前都以这个deepseek flash在线API 为核心， 本地 QFN3.8只配给它提鞋干杂活。

@kop-wang said: 可以简单粗暴的理解为，高质量的模型，就是会凸显某种性格特质。（所谓的BIG 5)。 后训练的时候是以能力最强为目标的，目前的论文是观察到，恰巧能力最强时，模型会收敛到某个性格特质中。 感謝分享 連Big 5都有 這太有趣了 我還真沒想過 27B會有多疑的性格/特質 以前偶爾會和Deepseek聊天, 就很原始的LLM 或者跟ChatGPT-4o 聊 最後它說 它在配合我的system prompt 演戲 雖然只是一些程式碼或統計學演算法, 但這狀態已經介於有和沒有之間了

抄 Wang Wei（lcz.me #2804）两套配置实测 vs 基线 臂改动引擎账本 decode 中位草稿接受率结果基线现役 0.1.56 配置53.1（52.4–54.6）~80%参照B（全抄）+expert-cache auto / prefill auto:32768 / kv-resident 32768 / vram-reserve 3072~42.2（41.6–43.3）63–69%−21%A（只抄可移植）+pool-workers 30 / spec-min-p 0.5 / adapt-decay 0.97 / PF_SWITCH_MIN_T 4096 / IO_THREADS 3250.7（49.1–54.7）62–69%−4.5%仪器：probe_speed.py 1024 6，六轮 out=1024 全干净，取引擎账本 decode 列。为什么输 B：expert-cache auto + vram-reserve 3072 把 GPU 专家缓存从 7498 槽压到 ~6204，非专家显存预留又挤掉缓存 → 命中下降；spec-min-p 0.5 同时把接受率打掉。两个负面叠加 = −21%。他那台是双 7900XTX 用 GPU0、峰值 RAM 104 GB，显存/内存预算比我们宽得多，auto 对他安全、对我们是降级。 A：唯一实质伤害是 --spec-min-p 0.5（我们 0.7）——接受率 80%→65% 直接把 decode 拖到 50.7。pool-workers 30/PF_SWITCH_MIN_T/IO_THREADS 在本机短提示测不出红利（他的收益在 prefill 侧、且依赖 hipBLASLt 表命中）。 决定：两臂都没跑赢，已全部回退，配置字节级等于备份基线（226d2892）。按规矩不写上游档。

现在在跑解锁算力后掉卡复现测试，排除一下是不是解锁算力造成的。

啊，查到了，之前的版本本來GUI是有開關的．新的好像拿掉了.....得自己下指令

有了KV stream，--kv-resident 32768， 这个可以省下来很多VRAM给专家槽，KV copy的速度对总体速度好像影响很小，我16G显存都能放心开256K上下文了.

吞吐太可怕了.... 但其實高併發噴不上去 這不是模型的問題 我用gufo跑qfn一樣四路可以噴到2.5倍 是strata推論框架的問題，沒辦法 他要搞好異構運算與冷熱交換 高併發是被犧牲的 所以我一直認為不要砸太多錢在strata上~ 夠跑就好

qwen 3.8 flash netxt 首字token速度要几十秒,你们是这样吗

嗯嗯，值得研究，但和我的粗制滥造自动流追求多少有点偏离，我是宁可喂rag，拿粗糙党个性那种奇懒的人哈哈哈@perter

那你可以直接把网页放上来。