sglang 05.16 历史性性能升级perfill 直冲3500+

[用户名违规]

看图看图。。这个性能起飞了。
4090D-48G-27B-FP8 无MTP 30t/s，perfill 速度2500-3500，平均2800+

[terry]

差不多也就这个水平就够用了，再快意义聊胜于无。MTP开不开以后再说，先用起来。话说这个版本什么时候发布的？

[wwcd2016]

看来sg-lang满足了企业级别的应用，4090 有48g勉强为多人服务了。主要是填充快太多了！

[用户名违规]

@terry 已经发布了呀，基本上调优了。docker拉最新的就行。启动参数要调整一下。

[用户名违规]

@wwcd2016 服务不鸟哦，这玩意儿有个毛病，可能是我还没找到解决办法，容易perfill。不知道是不是hermes 没命中到，导致的perfill 这个问题还不好排查

[williamlouis]

docker版 非常省心。直接就可以复用。但不如编译的舒适。

[terry]

我就是做视频那几天安装的，反正效果很好，就不想折腾了。够用就行，而且说实话半年也不用一次，总觉得在本地要有保底方案，这就是典型的屌丝心态。