Your browser does not seem to support JavaScript. As a result, your viewing experience will be diminished, and you have been placed in read-only mode.
Please download a browser that supports JavaScript, or enable it if it's disabled (i.e. NoScript).
如题:mac studio m5 max 64G 1T 18 CPU 40GPU可以部署本地大模型吗?
跑个Qwen 27B, 稍慢, 但应该可以接受. 干活能力也不错. 参考: https://lcz.me/topic/1138
要快的话, 跑个 Qwen 35B, 不过那个智力不太行. 复杂的任务够呛.
用strata或者splash 跑qwen flash next q2 精度,可以保持256K上下文,90-100t/s。
速度可以的 实测QFN Q3S 128K 65 稠密就不用想了
你好!看起来您对这段对话很感兴趣,但您还没有一个账号。
厌倦了每次访问都刷到同样的帖子?您注册账号后,您下次访问时都将自动回到上次浏览的位置,并可选择接收新回复的通知(通过电子邮件或推送通知)。您还可以收藏帖子、为帖子点赞,以此向其他社区成员表达您的感谢。
有了你的建议,这篇帖子会更精彩哦 💗