@stxpnet 说:
我的建议是,让AI上谷姐和REDDIT去帮你找 大本营,总有大神会和你用同款机器,然后他会精调一个专门针对这个机型的框架和模型,然后你接个deepseek v4,设计 好提示词,让梁文峰直接帮你抄作业就完事了。 我等了几天已经等到了。 以下给你一个HERMES可用的提示词:
去谷歌和reddit 帮我调研一下,最近7天内的,关于qwen 3.8 27b的模型比如(huggingface.co/zhnagchenchne/Qwen3.8-27B-GPTQ-W4A16 ),看看有哪些比较适合MacBook pro M5 MAX 128G 的,列最适合的10个,并用表格说明各自优劣势 ,我目前用的这个是 huggingface.co/twolven/Qwen3.8-27B-abliterated-AWQ-MTP ,感觉还行,但是离完美还有一些距离. 我比较喜欢【什么样的模型,用途主要是XXXX 】的。 如果reddit上找不到相关内容的话,可以从 huggingface.co/models?p=1&sort=created&search=qwen+3.8+27b 这个作为起点进去找找。 本会话可能要做为每日常规任务。主要目标是发掘一个适合 我本地 MacBook pro M5 MAX 128G 硬件的vllm或者sglang模型及框架 .
非常感谢,这个也很有帮助。。。马上办!