我觉得一个工具还是看他用在哪里,怎么用。直接武断地说某一个卡是垃圾了的话,有点儿过于偏执。如果只是本地跑agent的基础对话,帮助基础系统维护,或者再最多就是生个图,解决一下一些自动化生产力的问题的话,应该还是问题不大的吧。毕竟有的事情是不愿意放到api上面去调用的,local LLM还是有一些价值的。主要看使用方向和侧重了!
不知道大家对于本地部署大模型,还有什么建议?以及应用上的实践呢?
我觉得一个工具还是看他用在哪里,怎么用。直接武断地说某一个卡是垃圾了的话,有点儿过于偏执。如果只是本地跑agent的基础对话,帮助基础系统维护,或者再最多就是生个图,解决一下一些自动化生产力的问题的话,应该还是问题不大的吧。毕竟有的事情是不愿意放到api上面去调用的,local LLM还是有一些价值的。主要看使用方向和侧重了!
不知道大家对于本地部署大模型,还有什么建议?以及应用上的实践呢?