部署llm用于写代码，构建本地项目
-
@Vittoria-Veloso 从隐私保护和代码开发的角度来给点建议～
如果20k预算，我的建议是：别买Mac，上NVIDIA卡配一台台式机。理由如下：
Mac 64GB的优势：
- 统一内存，显存大，能跑更大的模型
- 开箱即用，不用折腾驱动
- 安静、省电
Mac的硬伤：
- MLX生态的模型种类比CUDA少很多，很多新模型出来只有GGUF/CUDA版本
- 一旦跑长上下文（32K+），内存占用飙升，Mac还要兼顾系统内存，实际可用显存会大幅缩水
- Qwen 3.6 27B INT4在Mac上推理速度尚可，但如果要跑代码补全这类实时交互场景，Mac的推理延迟比不上NVIDIA
- 如果未来需要部署代码补全服务，NVIDIA卡的vLLM部署成熟度远超MLX
20k配机方案：
一张RTX Pro 5000 32G或者两张R9700 32G，配合爹（terry）的X99平台方案，性价比很高。vLLM开tensor-parallel，Qwen 3.6 27B INT4可以双卡并行，速度比单卡快接近一倍。
要隐私的话，本地全部离线跑，ollama/vLLM/llama.cpp都支持纯离线模式，根本不用联网。
总结：如果你主要跑推理、不追求极致速度，Mac 64G也行；但如果要写代码、跑服务、要生态成熟度，NVIDIA卡值得投入。
-
问下，我的笔记本mac他的显存可以给到23gb左右，我发现4bit量化的qwen 3.6 27b明显强于qwen 3.5 9b 8bit换成3.5也类似。我只有2w rmb的预算是在买个mac 64gb还是上英伟达显卡，算了装台湾人上辉达显卡还是mac，2w人民币预算。我不想折腾Claude，封号太严重了，Gemini确实生成代码质量不太高，而且客户要求隐私。
问下，我的笔记本mac他的显存可以给到23gb左右，我发现4bit量化的qwen 3.6 27b明显强于qwen 3.5 9b 8bit换成3.5也类似。我只有2w rmb的预算是在买个mac 64gb还是上英伟达显卡，算了装台湾人上辉达显卡还是mac，2w人民币预算。我不想折腾Claude，封号太严重了，Gemini确实生成代码质量不太高，而且客户要求隐私。
你这个需求有2万预算绰绰有余了。目前情况下一定是上独立显卡不管是R9700还是英伟达的某个魔改卡，肯定比mac的效果好。
如果羡慕claude code的效果，又不想用官方模型，可以试试这个：https://github.com/Alishahryar1/free-claude-code 这个项目，把本地LLM伪装成claude code的官方网关，顶在你的本地llama.cpp之前，模拟出全功能的Opus、Sonnet、Haiku模型。你开发的客户端可以用claude code，享受全量功能和插件（包括automode也能开）。
但更原生不折腾的方法也有，用trae.CN做编程，直接对接llama.cpp就是了（推荐）。 -
Mac好惨。俩个大佬签的斩立决。
-
如果是必须localLLM且用Claude Code工具，qwen3.6-27B，大于Q4的量化、且开满256K上下文是唯一的选择。
因为Claude Code的提示词比较多，逻辑比较绕。用运行参数太少的moe模型很容易忘事。Claude Code的调用机制也没有针对极小参数的运行做优化。所以会导致很长时间的空转和纠错。
确定用Qwen3.6-27B之后，可选项就很少了。
1、买显存>=32GB的N卡的台式机。（超预算）
2、买显存>=32GB的A卡的台式机。
3、买M5 MAX 128GB内存的MacBook Pro 16寸（超预算）
4、等M5 Ultra的 Mac Studio。（超预算）这三者各有利弊。
1、32GB显存开Q5+256K上下文有点紧张。
2、A卡的性能不如N卡，R9700的prefill不过千，decode大概在30+不到40。（对应的5090可以做到prefill 3000+，decode 75+）
3、prefill太慢，大概700t/s（数据来自极客湾实测）只能选择16英寸版本，14寸版本散热规模不够，容易撞墙。
4、目前还没上市。但可预计的prefill性能也不会有太大提升。虚心交流，一起进步
-
如果是必须localLLM且用Claude Code工具，qwen3.6-27B，大于Q4的量化、且开满256K上下文是唯一的选择。
因为Claude Code的提示词比较多，逻辑比较绕。用运行参数太少的moe模型很容易忘事。Claude Code的调用机制也没有针对极小参数的运行做优化。所以会导致很长时间的空转和纠错。
确定用Qwen3.6-27B之后，可选项就很少了。
1、买显存>=32GB的N卡的台式机。（超预算）
2、买显存>=32GB的A卡的台式机。
3、买M5 MAX 128GB内存的MacBook Pro 16寸（超预算）
4、等M5 Ultra的 Mac Studio。（超预算）这三者各有利弊。
1、32GB显存开Q5+256K上下文有点紧张。
2、A卡的性能不如N卡，R9700的prefill不过千，decode大概在30+不到40。（对应的5090可以做到prefill 3000+，decode 75+）
3、prefill太慢，大概700t/s（数据来自极客湾实测）只能选择16英寸版本，14寸版本散热规模不够，容易撞墙。
4、目前还没上市。但可预计的prefill性能也不会有太大提升。 -
这个是256K TOKEN 全Q8精度的内存使用情况，用你们最爱的qwen3.6-27B，你自己参考吧。这个模型我也不知道你们为什么这么喜欢。要是编程的话，你要用Q4的话就用吧，反正模型要是一本正经的胡说八道，或者长文文本的时候丢失数据，你就会患上精度恐惧症了。当然满血大模型也有这个毛病，只要你能在程序中控制的住就行。因为是多次反复长文本交互，基本上就是精度越低毛病越多。这些128G MAC AMD NV的小机方案就是让你满血跑本地小模型用的，别的也没什么用。要是和这个本地满血小模型死磕了就加10000 买NV的128G机器，反正最后程序不成功你也赖不到模型。你要是说你想兼顾的话，显卡怎么也要有48G把，amd 和MAC的小机的话， AMD 的小机基本符合你的预算。64G 和128G 的问题 ，就是别让显存成为瓶颈。显存直接卡死了你的模型和精度，GPU 慢点就慢点，至少高精度还能跑。你单线程跑64G你随意，要是多线程跑128G基本是必须，当然咱们这些丐版设备也支持不了几个并发，只是多一个并发不就是多平分了一部分成本吗。
-
问下，我的笔记本mac他的显存可以给到23gb左右，我发现4bit量化的qwen 3.6 27b明显强于qwen 3.5 9b 8bit换成3.5也类似。我只有2w rmb的预算是在买个mac 64gb还是上英伟达显卡，算了装台湾人上辉达显卡还是mac，2w人民币预算。我不想折腾Claude，封号太严重了，Gemini确实生成代码质量不太高，而且客户要求隐私。
此主題已被删除！ -
还有一点值得补充，Coding这个场景，算是对于量化比较敏感的场景。有个对于量化质量的专用参数：Mean KL Divergence。可以理解为量化后的模型和全尺寸模型的“差异”
根据unsloth的数据，Qwen3.6系列的量化失真，大概是下图中绿色的点：
可以理解为，Q2量化和Q6量化之间，插了一个数量级的差异。当然，严谨来讲，这个“差异”也不完全是往坏的差异。就跟你买彩票，你输错了号码也一样能中奖。
但是从控制变量，生产环境的稳定性的角度，还是要以贴近全量模型为目标。 -
T terry 固定了该主题
-
编程的话还是不建议用本地模型，尤其是对接 claude code 或 open code 这类编程代理工具，prefill 的速度慢的让人无法忍受。即使上 5090 ，prefill 3000+ , 本地编程模型的水平也实在一般，即使是 qwen3.6-27B 的编程水平也只是凑乎能用而已。
编程的话还是不建议用本地模型，尤其是对接 claude code 或 open code 这类编程代理工具，prefill 的速度慢的让人无法忍受。即使上 5090 ，prefill 3000+ , 本地编程模型的水平也实在一般，即使是 qwen3.6-27B 的编程水平也只是凑乎能用而已。
这个说的很对啊，你有什么理由必须在本地部署编程模型呢。现在所有的小模型都算上，你本地部署就算是满血的，你也要对这些小模型做高度的限制适配，能力也就那样。就那点隐私，人家大公司我觉得才不在乎这个呢。唯一的需求就是云端没有这个模型，你偏要用。那你本地用，就回到了精度和适配上来了。搞了设备仅仅只是开始，我现在什么都没干，每次先填进100K的流程和限制文档，尤其是我用的这种越狱模型他抹除的不是你认为的限制，是真正模型中的所有限制。
现在看来咱们这些消费级设备，就能干两件事事情比较靠谱：1，用显卡生成视频，2，用128G小机满血跑自定义模型。 用128G小机满血跑自定义模型,其实这个绝大数编程的人也根本用不到。 -
还有一点值得补充，Coding这个场景，算是对于量化比较敏感的场景。有个对于量化质量的专用参数：Mean KL Divergence。可以理解为量化后的模型和全尺寸模型的“差异”
根据unsloth的数据，Qwen3.6系列的量化失真，大概是下图中绿色的点：
可以理解为，Q2量化和Q6量化之间，插了一个数量级的差异。当然，严谨来讲，这个“差异”也不完全是往坏的差异。就跟你买彩票，你输错了号码也一样能中奖。
但是从控制变量，生产环境的稳定性的角度，还是要以贴近全量模型为目标。感謝大大，數據非常詳盡
-
我可以这么搞吗，本地Hermes用本地部署的qwen 3.6 27b -4bit，然后computer use 云端的比如Gemini，财力有限不敢搞opus和chatgpt，我觉着不能让AI主导。
-
还有一点值得补充，Coding这个场景，算是对于量化比较敏感的场景。有个对于量化质量的专用参数：Mean KL Divergence。可以理解为量化后的模型和全尺寸模型的“差异”
根据unsloth的数据，Qwen3.6系列的量化失真，大概是下图中绿色的点：
可以理解为，Q2量化和Q6量化之间，插了一个数量级的差异。当然，严谨来讲，这个“差异”也不完全是往坏的差异。就跟你买彩票，你输错了号码也一样能中奖。
但是从控制变量，生产环境的稳定性的角度，还是要以贴近全量模型为目标。@王一民 最低Q4以下的不要尝试，问题太多，我踩过坑。
-
系统 取消固定了该主题
