跳转至内容
  • 1 赞同
    3 帖子
    137 浏览
    benton yiB
    哈哈哈,老特开始出视频的对应图文帖了。 想到自己当初也是很热衷于搞SGLang部署qwen3.6-27b,怎奈明星模型3.6-27b横空出世的节骨眼SGLang更新没那么快跟上,导致不管怎么调参输出都是乱码,就说放一放,这一放就再也没拿起来过。 想想和自己的性格有关,上班时候的午饭大多就是离得近的西部马华牛肉面,味道不错量足干净,只要它没背叛我就不会换别家的,牙膏香皂洗发水也是,自认为在给自己节省筛选和试错成本。vLLM在当时更新很快,对qwen3.6支持得不错,选型期接住了qwen3.6的一波流量,就自然而然用了vLLM(多agent并行至少是比ollama强多了),到现在都很稳定也就不想换了。据我以点盖面的不客观观察,vLLM确实对模型的更新跟进更卷一些,好像也更重视中文社区一点,除了版本号vLLM更激进之外,小红书的官方账号粉丝也是vLLM比SGLang多了快一倍。所以,目前话筒继续还是留在vLLM这里吧,等万一vLLM犯了致命错误再考虑要不要给SGLang一个机会。