@terry 大佬,我不知道怎么制作评测,只是在dsh里面调用工具就能看出来,exl和int4从来没错过,但是iq3xxs经常调用出错,或者think标签不闭合,导致输出经常是要么全部是思考,要么就把思考也打出来。
talent chuang
@talent chuang
-
RTX 5080 跑 Qwen 约 70–100 tok/s(request 样本):我把 Codex 的部分 ticket 交给本地模型 -
RTX 5080 跑 Qwen 约 70–100 tok/s(request 样本):我把 Codex 的部分 ticket 交给本地模型IQ3XXS,智力太低了,我用笔记本跑了下IQ3S,跟spark跑的exl 4.05 或者int4 autoround比都差一截,同样的任务,完成度完全不如另外两个。
-
听说有人想被打脸?