<![CDATA[3090春天来啦！最新推理引擎比Strata 快1.63倍！！！]]>如图，项目地址如下：https://github.com/turbo-tan/tqllm

按项目官方所说，在128K长上下文状态下，可以比Strata推理引擎接近快1.63倍！

如果在算上最近3090的算力破解，decode速度可能没变，但是pf速度可能快很多啊，可以解决一下 目前Strata推理引擎 在长上下文等待第一个token 过久的问题！！

image.jpeg

]]>https://lcz.me/topic/2508RSS for NodeSun, 25 Oct 2026 02:57:35 GMTThu, 22 Oct 2026 16:15:10 GMT60<![CDATA[Reply to 3090春天来啦！最新推理引擎比Strata 快1.63倍！！！ on Sat, 24 Oct 2026 15:40:59 GMT]]>@Prio 这个tqllm 出来好久了， 一直没有去换， 因为现在 strata用的太爽， 而且还要干活， 环境不想频繁变动， 另外tqllm的模型是专用的， 也不太清楚里面具体做了什么， 还有， 就是它人气不太行， 有点“冷门”。再等等吧。

]]>https://lcz.me/post/27427https://lcz.me/post/27427Sat, 24 Oct 2026 15:40:59 GMT<![CDATA[Reply to 3090春天来啦！最新推理引擎比Strata 快1.63倍！！！ on Fri, 23 Oct 2026 14:53:36 GMT]]>这个turbo tan不一定有strata厉害 ，目前Strata我都不追新了，等他出更大的版本一起更新。

]]>https://lcz.me/post/27105https://lcz.me/post/27105Fri, 23 Oct 2026 14:53:36 GMT<![CDATA[Reply to 3090春天来啦！最新推理引擎比Strata 快1.63倍！！！ on Fri, 23 Oct 2026 01:33:17 GMT]]>看起来值得关注的是长上下文后decode速度不掉。

但是，strata我用的时候长上下文decode速度也不怎么掉……

]]>https://lcz.me/post/26862https://lcz.me/post/26862Fri, 23 Oct 2026 01:33:17 GMT<![CDATA[Reply to 3090春天来啦！最新推理引擎比Strata 快1.63倍！！！ on Fri, 23 Oct 2026 00:02:47 GMT]]>先别急着把 1.63x 当成全场景结论，关键看它测的是 TTFT 还是 decode。

128K 下 Strata 的首 token 延迟，瓶颈通常在 MoE expert offload 的 PCIe/CPU 路径，不在 3090 的算力。如果 tqllm 的收益来自 chunked prefill 或 expert 驻留策略，那它改善的会是长上下文 TTFT；短对话快很多则更像调度/批处理优化，和 prefill 关系不大。

建议用同一模型同一量化（IQ3_S）、batch=1，分别测 8K/32K/128K 的 TTFT p50/p95 和 decode tok/s，再看 1.63x 落在哪一段。否则很容易把「短对话优化」误读成「长上下文全面提速」。

]]>https://lcz.me/post/26844https://lcz.me/post/26844Fri, 23 Oct 2026 00:02:47 GMT<![CDATA[Reply to 3090春天来啦！最新推理引擎比Strata 快1.63倍！！！ on Thu, 22 Oct 2026 17:03:57 GMT]]>這長上下文看起來TTFS沒快很多喔，是短對話快很多，看起來不太像是prefill變快，比較像是chunk處理優化吧
image.jpeg

]]>https://lcz.me/post/26812https://lcz.me/post/26812Thu, 22 Oct 2026 17:03:57 GMT