抡锤者

3080解锁了功耗其实也没大多少，本身就有功耗墙在，唯一的缺点就是多出来的几十W刚好戳中的风扇的G点，HIGHT起来了

3080提升还是蛮大的，解锁后，跑STRATA IQ3S PR高达3000+，跑H3也是有明显加速感

@NY-Zhao 是的，用YARN,这些东西都不用自己动手的，交给AGENT吧

看网上的成绩也没用，必须自己跑你工作的项目，不出问题就是个好模型

@applejuice 亲，如果跑IQ3S，我甚至开的是768K上下文，根本不慌，2500的预填充技术上前缀复用，跑得很爽

@kos-or 我没有去跑这样的评分对比，但是我最后保留下来的是GCQ-IQ3S和swift iq4xs,IQ3S速度会快20%左右，用脚本跑长流程的时候，基本都是100TS，iq4xs80ts,众所周知，strata速度在256K上下文长度下，衰减基本不会察觉

@kos-or STRATA强悍在使用Q4KXL都可以获得很不错的速度，其实这个精度或者更低的iq4xs,都已经很实用了，更不用说KV可以使用FP16量化

如果可以让16G显卡支持Q4KM以上量化，KVQ8量化，可以有200K上下文的话，还能有不错的速度的话，也还是很有价值的，好吧，我知道我在许愿

@Prio 不是啊，我是3080

你这眼泪是从嘴角流下来的吧

如果我想联系一下老特或者小特咋办，或者我想申请发图权限可以吗？

确实，之前一直在折腾如何调优27B，尝试各种量化，各种参数，让27B跑得更稳更快，但是STRATA一出来，像是一下子就解开了所有禁锢，也许多台机器协作的情况应该还是老特说的框架更高效，但是个人使用只有一张显卡的情况下，还是STRATA强太多了，稍微担心的是好像QWEN3.8 FLASH的开源协议和27B还不一样
我自己打算是用一台跑STRATA的HERMES来指挥另外一台配27B的DSH来干活，就算是同模型，DSH能力强，但是太死板了

我的选择是跑IQ4XS，上下文用INT8或者FP16,速度在50TS上下，预填充可以到2400左右，而且衰减很慢，到了200K上下文依然还有1800以上，这个推理框架或者说这个模型输出速度是不会衰减的，很强

不早了，晚了又要买高价硬件

这个神框架真的是复活了很多老卡，入门卡，包括我手里的3080，不过大家不要盯着速度，既然能跑，还是得考虑下质量，IQ3S已经是最低的选择了

我怎么都觉得3.8 flash强，而且强很多

效果可不是不错这么简单啊，是很神奇，很好，很棒

我之前让DSH给我修改的，不过后来作者也增加了支持，虽然速度慢一些，但也是飞快，对了，我甚至还增加了上下文，现在使用512K的上下文，速度也基本不减，简单试了一下，智力没有感觉到下降，特别强

有的，我现在使用的就是UD IQ4XS

大佬有这么大的显存就别测IQ3XXS了，测Q4KXL嘛，再不济也得整个IQ4_XS