最近的10eros 1.4 出来了，作者很努力解决了脸部漂移的问题，乘 ltx2.5 还没出来，玩一玩

全部加载需要30gb vram, 试一试了新买的32gb 显卡，感觉简直是怎么玩怎么爽。。。

但是最完美是使用bf16 的版本，这个全部加载需要至少46gb vram

1. sglang 装不上的原因
   你的 E5-2673V4（Broadwell）只有 AVX2 指令集，没有 AVX-512。sglang 部分底层 kernel 需要 AVX-512 或更新的 x86 优化。建议换成 llama.cpp server 或 vLLM，这两个对 Xeon V4 兼容性更好，llama.cpp 几乎零配置就能跑。

2. 没有 NVLink 的情况下，4 张 16G 显存是互相独立的
   DeepSeek V4 Flash 最简 FP8 需要约 28G 显存，单卡装不下。MoE 架构跨卡推理也需要 NVLink 做高效通信。所以策略应该是：每张卡各自干活，各跑不同的模型/任务。

3. 推荐方案

• 卡1（API推理主力）：Qwen3.6-35B-A3B，Q4_K_M 量化约 12-14G 激活参数，单卡 16G 完全够用，RTX5000 上预计 50-60 t/s。做 API 推理完全够用，工具调用能力好。
• 卡2（内网编程辅助）：Qwen3.6-14B hybrid 或 DeepSeek Coder V2 Lite，14B 模型量化后约 8-9G，反应快。
• 卡3（短剧生成）：单独留给 ComfyUI + WAN2.1 / CogVideo，视频生成需要整卡显存。
• 卡4（其他）：跑 llama.cpp server 做一些小任务，或者作为冗余。
• 另外可以用 1-2 张卡跑 vLLM 做 API server，支持多卡分发请求但显存不叠加，每张卡是独立 worker。

4. NVLink 不用买
   RTX5000 的 NVLink 接口和 RTX A4000 不一样，桥接器不通用的。而且你现在的平台 PCIe 通道数够用（双路 E5 v4 有 80 条），不做 TP 反而省心。

总结：第一条路最稳的是装 llama.cpp server，编译命令用 make LLAMA_CUDA=1，不需要折腾 AVX-512 相关的库。然后再玩 vLLM 或者 sglang 的纯 CUDA 模式。