抡锤者

现在改成q4量化了，192k上下文，稳定基本95左右，实际70-120。上下文再大256k时就明显掉速了。

这两个模型的要求差别可太大了， 27B随便跑， deepseek4 跑起来可不容易

@qw-er 说:

@sospda 其他什么配置啊？26 00?
其它没什么 ，80G内存，5900xcpu，128K上下文，参数是agent调的

试验了 一下，可以双并发，单128K拆分成2路64K，

但是速度并 没有提高，两路加起来和单路 差不多。

开两路 ，实际1路使用，速度和开1路基本一样 。

改回单路128K了，比2个64K上下文好用。

现在上下文改到128K了， decode 速度基本稳在100 ，

最低70，最高135 。

prefill最高就是2600，越用越好用了。

已经接入hermes开始 干活

，zvggd

@张光璞 说:

@sospda 说:

重新安装 了win11， prefill提升恐怖。从650 直接提升 到2600

???? 直接 X 4了？ 不在linux 下试试吗？

没地方装linux了， win下传感器显示有点问题 ，pcie 的速度 显示不出来，vram也显示不了。

这个速度感觉已经可以实用了，decode 现在120-130很常见，

@applejuice 说:

@sospda 2600 那么夸张

确实很夸张啊 ， win11 26H2，才装的系统

重新安装 了win11， prefill提升恐怖。从650 直接提升 到2600

显存大还是有 优势的，基本可以日常用了。不过实话实说，填充率还是 差了点 ，不知道是什么问题，等以后的 版本改进 吧。
windows下

@kos-or 说:

@sospda

可以試試Ornith-1.5-35B
速度飛快 也差不多 100~200 tok/s
但橫衝亂撞 閃電俠

我受不了 就讓Codex-SOL harness 它一下
品質有變好

其实是想再要点品质， 速度感觉够快了，

一直在找有没好用的A4B，A5B的模型，

27B质量不错，就是速度差点意思。

不知道有没有3.8 35B A3B ，提高点生成质量

看使用目的， 35b胜在速度快， 27b也在用，写小程序用，大程序都是用的deepseek

从字体应该能看出来，是windows， 都是Q5版本， 不过35B的 kv cache都改成了Q4， 之前并发会爆，改小了

Qwen3.8 27B ，单发54tok/s， 双发工63tok/s， 都是稳定工作值

Qwen3.6 35B A3B MTP，

型 类型 等效 / 真实规模 Q4 体积 核心最强场景 ROCm 速度 tok/s
GLM-4.7-FlashX MoE 27B（24 + 档） 16.5GB 代码、Agent、多并发商用 33~42
Qwen3.6-27B 稠密 27B 纯稠密 17GB 中文数理、图文、论文精读 16~22
DeepSeek-V2-Lite 24B 稠密 标准 24B 16.2GB 数学、算法、编程刷题 22~28
Qwen3.5-35B-A3B MoE 24~26B 21.2GB 超长文档、外文翻译、图文 26~31
Mistral-Small 24B 稠密 标准 24B 14.8GB 英文、创意写作、高速对话 28~36
Yi-34B 稠密 等效 25B 19GB 中英双语、海外文献

折腾了几天放弃了， windows下面可以用vulkan, 用35ba3b的性能还可以，用27b性能下降严重。
也安装rocm成功， 但是总有各种各样的小毛病，折腾了一阵，累人。
是直装的，不通过wsl2。 各种修补，发挥不了全力，gpu核心占用只能用到一半左右。
又退回ubuntu了。

速度不正常， 用vulkan, mtp可以达到52tok/s, 用rocm 也可以达到45tok/s. 我说的是单卡的情况，双卡不清楚，但是不到20的速度肯定不正常。3.6 27b模型

支持视觉 千问3.5以上都支持