抡锤者

的确最快能到100t/s，但是慢慢会衰减到35左右，然后基本就这速度了。就是缓慢降速问题，一直没能解决

我用下来看Qwen 27b可能更加靠谱，而且速度稳定，最新的版本可以并行，单卡可以150tks/s；但是上下文偏短90k;
而strata flash next，能跑256k，但是速度能从100掉到40，速度不稳定（可能是个例），质量上来说也非常好

今天调试了一天，目前strata最大的问题，就是agent多调用几轮之后，decode速度急速下降，用AI没能分析出原因。
目前，还是Ninfer方案比较稳，50-75的速度比较稳。strata不知道是哪儿配置的不对。

楼主的strata这是双卡的推理速度了，并且是241的ctx，这速度不错了
目前我单卡+96g ddr3，一到90ctx，decode速度就降到个位数了