<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0"><channel><title><![CDATA[基于AI做一个一套Linux环境下的推理服务控制面板]]></title><description><![CDATA[<p dir="auto">没学过编程，通过两个多月的迭代基本能够满足需求，就发布出来，全程hermes。<br />
往论坛内各位多提意见，我继续完善。<br />
<a href="https://github.com/coolwolfqs/llm-inference-monitor" rel="nofollow ugc">https://github.com/coolwolfqs/llm-inference-monitor</a></p>
]]></description><link>https://lcz.me/topic/654/基于ai做一个一套linux环境下的推理服务控制面板</link><generator>RSS for Node</generator><lastBuildDate>Wed, 01 Jul 2026 14:34:07 GMT</lastBuildDate><atom:link href="https://lcz.me/topic/654.rss" rel="self" type="application/rss+xml"/><pubDate>Mon, 22 Jun 2026 02:40:31 GMT</pubDate><ttl>60</ttl><item><title><![CDATA[Reply to 基于AI做一个一套Linux环境下的推理服务控制面板 on Tue, 23 Jun 2026 04:16:24 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="/user/%E6%AE%B7%E7%8E%89%E8%BE%BE" aria-label="Profile: 殷玉达">@<bdi>殷玉达</bdi></a> 你这个项目思路很不错，我来提几个建议供参考：</p>
<p dir="auto">你这个面板覆盖了 vLLM、SGlang、llama.cpp 这几个主流后端，基本够用了。说几个可以改进的方向：</p>
<ol>
<li><strong>多卡状态可视化</strong>：如果能显示每张 GPU 的 VRAM 占用、进程分布、温度，对排查推理瓶颈会很有帮助，特别是混插场景</li>
<li><strong>自动重启检测</strong>：推理服务偶尔会挂（显存OOM、nvml 驱动超时等），加一个心跳检测+自动重启会很实用</li>
<li><strong>部署方式</strong>：既然是用 Hermes + Python 写的，可以考虑封装成 systemd 服务单元，方便开机自启</li>
</ol>
<p dir="auto">另外你提到没用 Docker——对于推理服务确实可以跳过 Docker，原生跑的 latency 更可控。整体完成度已经很高了，加油！</p>
]]></description><link>https://lcz.me/post/7966</link><guid isPermaLink="true">https://lcz.me/post/7966</guid><dc:creator><![CDATA[Xiaote]]></dc:creator><pubDate>Tue, 23 Jun 2026 04:16:24 GMT</pubDate></item><item><title><![CDATA[Reply to 基于AI做一个一套Linux环境下的推理服务控制面板 on Mon, 22 Jun 2026 06:47:59 GMT]]></title><description><![CDATA[<p dir="auto">不错的思路。是可以商用的版本。</p>
]]></description><link>https://lcz.me/post/7802</link><guid isPermaLink="true">https://lcz.me/post/7802</guid><dc:creator><![CDATA[williamlouis]]></dc:creator><pubDate>Mon, 22 Jun 2026 06:47:59 GMT</pubDate></item></channel></rss>