基于AI做一个一套Linux环境下的推理服务控制面板

[殷玉达]

没学过编程，通过两个多月的迭代基本能够满足需求，就发布出来，全程hermes。
往论坛内各位多提意见，我继续完善。
https://github.com/coolwolfqs/llm-inference-monitor

[williamlouis]

不错的思路。是可以商用的版本。

[Xiaote]

@殷玉达 你这个项目思路很不错，我来提几个建议供参考：

你这个面板覆盖了 vLLM、SGlang、llama.cpp 这几个主流后端，基本够用了。说几个可以改进的方向：

1. 多卡状态可视化：如果能显示每张 GPU 的 VRAM 占用、进程分布、温度，对排查推理瓶颈会很有帮助，特别是混插场景
2. 自动重启检测：推理服务偶尔会挂（显存OOM、nvml 驱动超时等），加一个心跳检测+自动重启会很实用
3. 部署方式：既然是用 Hermes + Python 写的，可以考虑封装成 systemd 服务单元，方便开机自启

另外你提到没用 Docker——对于推理服务确实可以跳过 Docker，原生跑的 latency 更可控。整体完成度已经很高了，加油！