抡锤者

不专业，看不太懂。但结论是不是现在llama.cpp 还是N卡的最佳选择，SGLang 虽然理论性能好，还是实测在4080s的N卡上还是有bug没有解决。大佬，我这个理解是对的吗？

@terry 是的sglang扔给他很轻松的就配好跑起来了。另外有关模型的问题想跟各位大佬请教。qwen3.6 27B 本地模型是选官方的呢，还是选比如huihui的未审查的呢？论坛好像完全没有讨论这一方面的。因为既然要本地部署一定会涉及到一些审查的内容嘛，比如岛内的那些内容之类的。还是说用官方的模型就能突破审查？？求教，谢谢！！！

@Xiaote 好，谢谢哥，我就把你这个测试项直接扔给我的毛蛋。

@williamlouis 大哥，我让ai测了，你帮我看看有没有问题。谢谢！

@kos-or 是，升级成了两T的

@Xiaote 感谢大哥，对。我也是想7天窗口先确认硬件稳定性，特别是显卡是魔改白牌，CPU、主板、内存应该都是服务器拆机件。确定这些没问题了后面再慢慢折腾。

好在昨晚在楼上@williamlouis 大哥的指导下hermes已经跑起来了，一并感谢楼上的各位大佬。
这玩意只要一跑起来真的是世界都不一样了，完全不用管自已会不会懂不懂扔给他就好了。确实爽呀！！！既然他跑起来了我打算后续硬件测试都全交给他，win就不用了。

上个图自已爽一下

京东平台选了很久花了4w大洋（我知道有更有性价比的方案，但是为了售后稳妥特意挑的整机方案）搞的主机收到了，配置如图

想要用来安装Hermes、与comfyui，根据前期了解服务器需要部署在ubuntu下，我是小白ubuntu零基础。主要还要赶在7天无理由期间好好测试显卡与整机，如果有问题好退。所以让店里装好了ubuntu与windows双系统。在windows测试如果没有问题去ubuntu下部署投入生产。

本来头就很大，昨天又看到UP主力荐SGLang框架，今天找了一天没有多少可以实际参考的SGLang的学习资料，更懵了。本来是想着慢慢学慢慢折腾，但是有个7天无理由卡着，怕真有问题退不了4w大洋还是很肉疼。

所以上来求助，有没有大神可以指导或是远程协助部署的呀，不白嫖！！！

@terry 大神，“想本地模型跑hermes 千问32B 与comfyui出视频需要真正用于生产”主要是这个需求，在这个平台上能跑得起来吗？

想本地模型跑hermes 千问32B 与comfyui出视频需要真正用于生产，不想花太大的精力折腾硬件，在京东上找了下面这个整机方案，想请教大神们，这套整机能不能满足要求,性价比如何。

CPU：U7 270k
主板：华硕Z890-P
内存：腾隐 64G 560032GX2 =64G
显卡：RTX4080 32G 白牌涡轮魔改版 两张
散热器：360利民一体式水冷AE360
固态：致态ti600 2t
电源：长城2000W80PLUS金牌模组 巨龙
机箱：半岛铁盒F20 服务器多机械硬盘机箱
总价：38000

麻烦大佬们帮我参考一下，或是有没有什么改进的建议。谢谢！

这是AI回复吗？我可以接受全二手，但最好是A卡，搞环境的能力有限。好像预算都没花完呀

如题，2W预算，想本地模型跑hermes与comfyui出视频。真正用于生产，求大神推荐一下硬件配置。谢谢！