https://github.com/kop1989/dsh-localqwen-rolefix
本质来讲,就是一旦dsh的请求带推理强度,角色就会变成”developer“。但是vllm和SGLang是不认这个角色的。他们只认”system“、”user“这两个用户侧角色。
插件的作用,就是在保留dsh的推理强度选项的前提下,让sglang和vllm可以正常使用dsh。不会出现400错误。
这样既方便调整思考强度(默认xhigh会超长思考),又可以使用sglang超强的prefill性能。
以上。