有没有人试过这个TQLLM？ 号称比strata快16%

[vosrock]

如果可以让16G显卡支持Q4KM以上量化，KVQ8量化，可以有200K上下文的话，还能有不错的速度的话，也还是很有价值的，好吧，我知道我在许愿

[vosrock]

@kos-or STRATA强悍在使用Q4KXL都可以获得很不错的速度，其实这个精度或者更低的iq4xs,都已经很实用了，更不用说KV可以使用FP16量化

[kos or]

@vosrock

請問Q4_K_XL 使用上和IQ3 有差異嗎?

Github有人測試 顯示輸出品質Coding 表現 IQ4_XS > Q4_K_XL

[johnnybegood]

@kos-or 你写错了吧， 应该是 IQ4_XS > Q4_K_XL ，不过运行速度IQ4好像要慢一些，因为要解iMatrix。 UD_Q4_K_XL 应该会大于 IQ4_XS，但更慢。我认为 IQ4_S 是最甜点， 没有的话就 IQ4_XS

[kos or]

@johnnybegood

對 多了一個 I 更正了 謝謝喔

不过运行速度IQ4好像要慢一些，因为要解iMatrix

"UD-IQ4_XS" 跑很慢 我就放棄使用了

[stxpnet]

@johnnybegood 说:

@kos-or 你写错了吧， 应该是 IQ4_XS > Q4_K_XL ，不过运行速度IQ4好像要慢一些，因为要解iMatrix。 UD_Q4_K_XL 应该会大于 IQ4_XS，但更慢。我认为 IQ4_S 是最甜点， 没有的话就 IQ4_XS

链接能不能发一下，我目前硬盘上面就GCQ 的IQ3 S还有SWIFT的IQ4_XS。 现在STRATA真的稳。 我开了一般都不关的。 。

[stxpnet]

直接等Strata了，真的是很好的框架，估计 再等2-3天享受160t/s的丝滑

[vosrock]

@kos-or 我没有去跑这样的评分对比，但是我最后保留下来的是GCQ-IQ3S和swift iq4xs,IQ3S速度会快20%左右，用脚本跑长流程的时候，基本都是100TS，iq4xs80ts,众所周知，strata速度在256K上下文长度下，衰减基本不会察觉

[applejuice]

用strata 就敢敢开512k context 了

[vosrock]

@applejuice 亲，如果跑IQ3S，我甚至开的是768K上下文，根本不慌，2500的预填充技术上前缀复用，跑得很爽

[NY Zhao]

@vosrock 请问下如何开大于256k的上下文，是用外推的方式吗？

[NY Zhao]

@vosrock GCQ-IQ3S和swift iq4xs，这两个精度，有多大区别啊，我一直用GCQ-IQ3S，编程和agent，不知道IQ4，有多大改进

[applejuice]

@NY-Zhao 其实 我不觉得有人可以很确定的 回答你这个问题
只有自己用下来才知道
看网上测试的成绩

[vosrock]

看网上的成绩也没用，必须自己跑你工作的项目，不出问题就是个好模型

[vosrock]

@NY-Zhao 是的，用YARN,这些东西都不用自己动手的，交给AGENT吧

[Prio]

好推荐，我就是单卡3090用户，看他即将推出：Qwen3.8-Flash-Next 在单块 RTX 3090 显卡上运行，我期待中