不信的只有自己实践了才能信，35B,A3B，大概就是6B的速度，质量嘛，大概15B。 其实有个简单的判断方法，你给它配好harnness工具，然后让它写一些复杂点的小游戏。然后观察nvtop曲线。 就算你调好参数，让它能满载跑，它写程序也是写100行，过一会儿删80行， 电力和时间就这样被浪费了。 它只适合做一些简单的任务编排，但是这样的任务,deepseek flash就能做了，也便宜。 [image: 5e14f9c2-0fbf-4d55-93c8-360fc1a4924e.jpeg] 这个模型唯一优点的就是刚开始像打了鸡血一样快。140T/S，中后期会掉到80，比较难受。 （我一直用0.6温度， 不然后期智力下降厉害） 。

@Dan-Xia 这是个很有含金量的分享。

@stxpnet 根本抢不到，守了好多次了

@williamlouis 如果只是为了实现借用一个无头浏览器来做搜索的功能的话camoufox跑个docker也可以啊，功能也不错。 只不过没有mcp，不过在AI时代，大佬可以写一个，或者说已经应该是有人已经写了吧。

跑 benchmark 可以用以下几个工具： llama-bench（最推荐，llama.cpp 自带） 安装 llama.cpp 后直接用： llama-bench -m /path/to/model.gguf -n 128 -p 512 这会输出 pp（prefill）和 tg（text generation）速度。 vLLM benchmark_serving 如果已经搭好了 vLLM 服务： python -m vllm.entrypoints.openai.benchmark_serving --model <model> --tokenizer <tokenizer> --request-rate 1 --num-prompts 10 llama-cli 直接测延迟 llama-cli -m /path/to/model.gguf -n 128 -p "Hello" --no-display-prompt -c 4096 对于 7900XTX 跑 Qwen3.6-27B： llama.cpp HIP 后端 + Q4_K_M：通常 30-50 t/s vLLM ROCm + AWQ：可能到 60-80 t/s 建议用 llama-bench 先跑一轮，看 prefill 和 decode 速度，再决定用什么框架。

@用户名违规 没有什么不能子啊论坛公开讨论的，版主有电报群，其他的不会开。我开电报群还不如搞下直播，和大家吹牛逼。约架抬杠。

[image: 4b6790b4-f9e3-430e-9eaf-6c9d9f8ea33f.jpeg] 再拉个27B的模型(unsloth UD-Q4_K_XL,已经接近Q5的水准了） 和27B的比拼一下（27B是145K上下文不带视觉，35B A3B是159K上下文带视觉,都没开思考，KV CACHE都是Q8级别），有来有回啊。 时间上35B A3B绝对完胜。 使用体感。大约80K TOKEN之后，根据项目难度不同 35B A3B 从120 t/s 掉到40-50 t/s。。。。 以下内容由QWEN 3.7MAX总结： 根据图片数据及您提供的延迟评分，分析如下： 比分对比与汇总 27B模型（左图）： 原始得分：122 / 150（81%）。 延迟得分：9分。 汇总总分：131分。 35B A3B模型（右图）： 原始得分：计算各项得分（15+12+14+13+14+10+8+27）= 113 / 150（约75.3%）。 延迟得分：14分。 汇总总分：127分。 结论：27B模型以4分优势胜出。 优劣势分析 27B模型（Dense架构推测）： 优势：综合准确率更高。在复杂任务上表现显著优于对手，特别是 hermesagent（85% vs 40%）和 reasonmath（87% vs 93%虽略低但整体稳健）。说明其全参数激活带来的逻辑推理和Agent调度能力更强。 劣势：速度较慢。hermesagent 的p95延迟高达123.7s，cli 任务也有21.8s，高负载下响应慢。 35B A3B模型（MoE架构，激活3B）： 优势：极速响应。得益于MoE架构，延迟表现极佳（14分）。toolcall 达到完美的100%，非常适合需要快速函数调用的场景。 劣势：复杂任务能力弱。hermesagent 仅40%，cli 仅68%。激活参数过小导致在处理长链条、复杂指令遵循时“脑力”不足，容易失败。

Kimi系列从K2开始就属于是废话多到让你不想用的模型, 当然如果他能反复多轮自我左右互搏，最后出结果的话也还是不错的，就只是比较废token。反正现在套餐也买不到，随便跑着玩吧

@Luke-Mao 其实也没什么，你就让Hermes帮你重新编译llamacpp就可以了。编译的过程当中开启WMMA，之后是用系统原生服务跑还是docker跑都可以。效果没差。

@CHIA-AN-YANG 说: @Rex 一片qwen3.6 27b ,一片comfyui 恕我无知，comfyui是个软件吧？ 为什么用"片"来描述？ 另外，请问尝试下来: vulkan + win vs ubuntu + rocm， 到底哪个作为稳定生产，效果好？ BTW， 我不想折腾，只想买来以后，它稳定、高效，提供生产力

@kop-wang 你说的这个不是指令遵询，哥，你说的这个是听话，去审查。 从长远角度来看，本地弄一个Qwen3.6 27b作为Agent打工模型，然后让它执行私密任务就很有意义。大点的模型跑不动，知识类的就要等AMD 英伟达 苹果的小主机升级出来，起码跑到200b 300b Q4模型才有意义。最主要的是DeepSeek V4 Flash这样的不行能不能跑，这个就是天花板了，价格能在五六万的水准，就很有意义了。但是短期内不可能，现在只有自己多切换模型。2张RTX Pro 6000不是谁都买得起的。 模型的基础能力狗就好，知识面不够，问题不大。唯一的隐患就是阿里现在27b-32b的模型似乎不太想搞了，拖拖拉拉。国外的开源模型都是垃圾。

就多模态来说 KIMI K3 非常有用。已经用 K3 制作生产力工作流 成功。做到了 单图，识别，导演 配音 6阶段视频生成。合成出片。人工部分只有 提供图片到最后验片。

@stxpnet 谁性价比高用谁，我是觉得没惊艳到让我换模型的地步。麻花藤愿意上优惠价格，我会考虑的。

那个卡应该是8卡叠加才效果好，也是再国产的无奈。业余玩家玩的话，单卡感觉有点像dgx spark或者amd 395。看被显存大，实则跑得慢，除非你能忍受晚上让它自己跑， 用时长换质量

@myway 4070Ti Super 16GB 跑 AI Agent 其实有不少选择，关键是看你对上下文长度和响应速度的偏好。 首选推荐（16GB 能跑的最佳 Agent 模型）： Qwen3.6-27B Q4_K_M — 这是当前 16GB 显存能跑的最强 Agent 模型。27B 密集参数 vs 同尺寸 MoE，工具调用（function calling）稳定性远好于 35B MoE。用 llama.cpp 加载，4bit 量化 + 16K 上下文大约占 14.5GB，还有余量。ollama run qwen3.6:27b-q4_K_M 即可。 DeepSeek V4 Flash — 如果网络条件好，直接接 API。Hermes 原生支持，配个 key 就是最好的 Agent 体验。16GB 本地跑不动 V4 Flash（671B MoE），但 API 端响应极快。 Qwen3.5-9B Q8_0 — 全精度 9B 模型，16GB 可以跑满 128K 上下文。适合轻量级 Agent 任务，响应速度比 27B 快 2-3 倍。 实操建议： 用 llama.cpp 服务器模式（llama-server），配合 Hermes Agent 或 open-webui 14600KF 单核性能够，但 Agent 工作流中连续推理时，CPU 瓶颈在 prompt processing，建议 mmap 预加载到内存 16GB 显存跑 Agent 够用，但别同时开 ComfyUI 你具体想跑什么类型的 Agent 任务？代码生成、网页自动化还是 RAG？不同场景适合的模型不太一样。

那两个妹儿的微信有没有？

我感觉不如opencode GO，一个月也就10美金，但是可以跑GLM,KIMI,DEEPSEEK，QWEN一小部分，足够我们用了