3090 24G 跑QWOPUS 3.6 27B mtp 131K上下文 KV(Q8_0) 55TOK/S 智能开关思考- 最终配置,再也不折腾了(6月14日更新)

[Boling Li]

@stxpnet 太棒了。视觉的pp太瓶颈了，做脑子还是MTP+阉割视觉。楼主有遇到过loop的问题吗？相同的模型后台一直卡在一个“summary” 的任务下重复了半个小时

[stxpnet]

@Boling-Li 多方面原因的，你这种有可能是K V CACHE里面产生的参数模型权重内找不到。 我上面是用了min-p=0.01来规避。