两块5070TI 16G ，一块ai pro R9700 32G，能否同时在一台电脑里部署本地模型，并且提供给2-3人使用，谢谢！

[haiguang li]

两块5070TI 16G ，一块ai pro R9700 32G，能否同时在一台电脑里部署本地模型，并且提供给2-3人使用，谢谢！

[566656661]

可以用llama.cpp + Vulkan可以混合A卡跟N卡來用, 但是就沒有了生態加速, 而且llama.cpp server本來在多人使用情況下表現不如vLLM 跟 SGLang (底層Attention機制導致)

目前這個配置最大化多人潛力就是2張5070ti用vLLM跑Tensor parallel, 然後R9700額外跑多一個llama.cpp, 單人的長上下文工作交給R9700, 其他交給5070ti

[terry]

要看你的主板如何了，如果性能不错，PCIE插槽足够，两张N卡TP跑大模型是不是错的。AI Pro R9700单独跑一个llama.cpp。双核和单卡都可以用来用来跑Qwen3.6 27b模型，也可以用来跑Qwen3.6 35b A3b模型。

如果需要画图，AI音频，可以让5070Ti单独负责，如果需要视频，最好就是R9700单独负责。

[haiguang li]

@Terry 主板是泰安s8030 pcie4.0 16 五个，内存96G 6*16 ddr4 2133

[terry]

@haiguang-li 那还不错，虽然不是5.0，也能玩玩了。