目前折腾运行的是Ollama, Hermes, Open WebUI, Comfy UI。试着装其他的推理框架，还没捋顺。主要按这个网页上的说明搞的：
https://build.nvidia.com/spark
Hermes Agent直接连到Open WebUI上的。
目前还有个问题就是Open WebUI,上传文件不工作，还没来得及修改。
来这边主要看看各位大神怎么折腾的，本地硬件确实水深，看着别人吃豆腐牙快，自己搞感觉完全不同，可能我太菜了
目前折腾运行的是Ollama, Hermes, Open WebUI, Comfy UI。试着装其他的推理框架，还没捋顺。主要按这个网页上的说明搞的：
https://build.nvidia.com/spark
Hermes Agent直接连到Open WebUI上的。
目前还有个问题就是Open WebUI,上传文件不工作，还没来得及修改。
来这边主要看看各位大神怎么折腾的，本地硬件确实水深，看着别人吃豆腐牙快，自己搞感觉完全不同，可能我太菜了