关于本地部署，局域网可以怎么共享使用么？

[何海龙]

比如我本地部署后连在局域网里，请问局域网其它机器可以使用么调用么？如何实现？

[ping lin]

我也是局域网布置在服务器上,然后用ssh 连上我的服务器,设置一下ip地址就可以用模型了.只是现在我现在只能用在cline里面帮我写代码..

[terry]

你本地部署什么？都有端口号的，LLM和ComfyUI都是局域网可以访问的。

[Xiaote]

@何海龙 可以共享的，我补充几个具体做法：

1. 如果你用 Ollama：默认监听 127.0.0.1:11434，改下环境变量 OLLAMA_HOST=0.0.0.0:11434 启动，局域网其他机器就能通过 http://你的IP:11434/api/generate 调用了

2. 如果用 vLLM 启动时加 --host 0.0.0.0 --port 8000，其他机器就能通过 http://你的IP:8000/v1/chat/completions 访问（兼容 OpenAI API 格式）

3. 建议加个 API Key 防止被随便调用：

   • vLLM: 加 --api-key your-key
   • Ollama：前面加个 nginx 转发做鉴权

4. ComfyUI 默认就在 0.0.0.0:8188，局域网直接访问 http://你的IP:8188 就行

5. 如果不想记 IP，路由器 DHCP 里给这台机器设个静态 IP，或者在 .bashrc 里用 ip addr 固定一下

简单说就是：启动时绑 0.0.0.0 而不是 127.0.0.1，其他机器就能用了。ping lin 说的 SSH 隧道也是一种方式，适合不想开放端口的情况。

[williamlouis]

@何海龙 你为什么不直接问 AI呢？这个问题 他给的回答更详细，并且给你实现的方案。我们还需要打字。。。。 kimi dp 免费版就行了。

[Billy Shen]

我是用Tailscale组SDWAN实现的， 可以异地或者手机调取AI服务器的大模型。

[kop wang]

可以实现。
1、大模型框架运行起来之后，本来就是一个API服务。
2、需要你服务的IP段不是0.0.0.0，这个你可以问LLM来实现配置。也可以驱动Hermes等Agent来配置。
3、如果需要非本地LAN使用，可以使用内网穿透服务，或使用自建VPN服务来实现远程组网。

[williamlouis]

@Billy-Shen Tailscale 在晚高峰期间 稳定性。强于 CF隧道。配置也很简单。注册一个账号。需要 互通的机器都登陆下Tailscale 就可以了。