抡锤者

楼主的这个测试，跟我现有硬件配置差不多，我是用超微7048Gr服务器，cpu2673v4 20核40线程共2个cpu，三星内存2400t的32G2共64G，ubuntu22.04系统，显卡是rtx5000 16G显存3共48G+rtx A4000 16G显存1张，共计16*4=64G，目前运行llama.cpp,大模型用的Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-Q4_K_M这个，速度比Qwen3.6-27B-Uncensored-HauhauCS-Aggressive-MTP-Q4_K_P速度快的不是一点半点。具体测试参数我一会发，因为我是菜鸟，显卡都是朋友给的，不是太懂，自己买了个二手服务器，没用nvlink，在论坛看到很多朋友说安装nvlink调试很麻烦，就没有上。

对了，我是在服务器上装的EXSI虚拟系统，在上边虚拟的ubuntu22.04，目前用3张RTX5000跑的Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-Q4_K_M大模型，因为RTX A4000在干别的活，没法测试。后期需要我会上测试。