Your browser does not seem to support JavaScript. As a result, your viewing experience will be diminished, and you have been placed in read-only mode.
Please download a browser that supports JavaScript, or enable it if it's disabled (i.e. NoScript).
直接等Strata了,真的是很好的框架,估计 再等2-3天享受160t/s的丝滑
@vosrock
請問Q4_K_XL 使用上和IQ3 有差異嗎?
Github有人測試 顯示輸出品質Coding 表現 IQ4_XS > Q4_K_XL
@kos-or 我没有去跑这样的评分对比,但是我最后保留下来的是GCQ-IQ3S和swift iq4xs,IQ3S速度会快20%左右,用脚本跑长流程的时候,基本都是100TS,iq4xs80ts,众所周知,strata速度在256K上下文长度下,衰减基本不会察觉
用strata 就敢敢开512k context 了
@applejuice 亲,如果跑IQ3S,我甚至开的是768K上下文,根本不慌,2500的预填充技术上前缀复用,跑得很爽
@vosrock 请问下如何开大于256k的上下文,是用外推的方式吗?
@vosrock GCQ-IQ3S和swift iq4xs,这两个精度,有多大区别啊,我一直用GCQ-IQ3S,编程和agent,不知道IQ4,有多大改进
@NY-Zhao 其实 我不觉得有人可以很确定的 回答你这个问题 只有自己用下来才知道 看网上测试的成绩
看网上的成绩也没用,必须自己跑你工作的项目,不出问题就是个好模型
@NY-Zhao 是的,用YARN,这些东西都不用自己动手的,交给AGENT吧
好推荐,我就是单卡3090用户,看他即将推出:Qwen3.8-Flash-Next 在单块 RTX 3090 显卡上运行,我期待中
你好!看起来您对这段对话很感兴趣,但您还没有一个账号。
厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。
有了你的建议,这篇帖子会更精彩哦 💗