抡锤者

对了，我是在服务器上装的EXSI虚拟系统，在上边虚拟的ubuntu22.04，目前用3张RTX5000跑的Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-Q4_K_M大模型，因为RTX A4000在干别的活，没法测试。后期需要我会上测试。

楼主的这个测试，跟我现有硬件配置差不多，我是用超微7048Gr服务器，cpu2673v4 20核40线程共2个cpu，三星内存2400t的32G2共64G，ubuntu22.04系统，显卡是rtx5000 16G显存3共48G+rtx A4000 16G显存1张，共计16*4=64G，目前运行llama.cpp,大模型用的Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-Q4_K_M这个，速度比Qwen3.6-27B-Uncensored-HauhauCS-Aggressive-MTP-Q4_K_P速度快的不是一点半点。具体测试参数我一会发，因为我是菜鸟，显卡都是朋友给的，不是太懂，自己买了个二手服务器，没用nvlink，在论坛看到很多朋友说安装nvlink调试很麻烦，就没有上。

千问越狱版和deepseek哪个更适合生产用？

首先感谢上边大神的回复，昨天安装了llama.cpp,感觉速度还可以，就是及其不稳定，用的Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-Q4_K_M模型，感觉速度还可以，我看论坛老大的youtube，说deepseek 也很好，大家用的怎么样，可以投入生产用吗？

@terry 朋友，我这个配置，如果做api接口用，做推理模型，用什么模型稳定？装了很多次sglang，总是失败？

现有硬件：平台是超微7048GR，64G内存，cpu英特尔E5-2673V4 共2颗cpu 单颗20核40线程，显卡是3块RTX5000 这个是16G显存+1块RTX a4000 也是16G显存，组成64G显存容量。
系统：ubuntu22.04 准备安装sglang，大模型可以用哪个稳定，论坛用deepseek v4的挺多，我这个可以运行吗？
用途对接内网编程和短剧生成等，各位给参谋一下，运行哪个模型更合适？ 还有，需要加nvlink吗，RTX5000和RTX a4000的nvlink接口不一样，怎么买nvlink？3slot还是2slot？