RTX5090单卡搭建哪个模型比较好，用vllm能不能在局域网内提供api给其他电脑？

[t ppp]

想试试搭一台服务器，给局域网内的两台电脑养龙虾。有没有什么方案。
谢谢各位

[terry]

随便买个x99的洋垃圾给它就行，配上64G内存，VLLM随便跑，有精力就研究下论坛帖子优化下，没精力就不用优化。5090还要优化什么，先跑起来。

[David Zhang]

你都5090了，这个问题就有点多余了。随便找个平台轻轻跑起来，装个ubuntu+opencode 就基本完事了。

[blackjack]

我5090游戏本都跑的很嗨，qwen3.6 27b q4量化，编程，llmWiki，修电脑，拍照解数学题，推导随机数学公式。。。。

[kop wang]

“RTX5090单卡搭建哪个模型比较好”
qwen3.6-27B Q4_K_M 搭配Q8 kv量化 ，262144满上下文。显存占用27GB
"用vllm能不能在局域网内提供api给其他电脑"
任何框架都可以把模型API开放给其他设备。