开篇：
测试平台：CPU：i7-12700
GPU：RTX 3070 8GB
RAM：32G × 2
系统：Windows 11
推理框架：llama.cpp CUDA 12.4 通过 llama.cpp 的 CPU Offload 和 MoE 优化，可以跑起来 Qwen Qwen3.6-35B-A3B 模型。
原理：Qwen3.6-35B-A3B：混合模型。35B 总参数，每次只激活约 3B。GPU 不需要一次性加载完整 35B ，再结合 llama.cpp 的：CPU Offload ；就能实现：GPU 跑注意力层、RAM 跑专家层。这也是：RTX3070 8G 成功运行 35B 的核心原因！
实现目标：
支持长上下文
支持 Flash Attention
支持多模态（视觉）
支持本地网页 UI
部署：
1、下载 llama.cpp 【Github下载】
2、安装显卡驱动，3070 N卡选择 CUDA 13.1
https://developer.nvidia.com/cuda-13-1-0-download-archive
3、下载模型
本次使用模型：Qwen3.6-35B-A3B-UD-Q4_K_M.gguf
量化格式：Q4_K_M
这是目前：精度、显存、速度 综合平衡最好的格式之一。
【Huggingface下载】
Qwen3.6 多模态模型：必须搭配 mmproj（示例：mmproj-BF16.gguf）
启动配置参数：
@echo off
chcp 65001 >nul
cd /d C:\Users\LINGDU\Desktop\llama-b9196-bin-win-cuda-12.4-x64

llama-server.exe ^
-m "models\Qwen3.6-35B-A3B-UD-Q4_K_M.gguf" ^
--mmproj "models\mmproj-BF16.gguf" ^
-ngl 99 ^
--n-cpu-moe 999 ^
--flash-attn on ^
--jinja ^
-c 32768 ^
-t 12 ^
-b 512 ^
-ub 128 ^
--cache-type-k q4_0 ^
--cache-type-v q4_0 ^
--mlock ^
--host 127.0.0.1 ^
--port 8080

pause

保存*.bat 编辑后运行
*\注意将上面的llama.cpp的存放路径改成你自己的，因为我是放在桌面上的，所以路径是：C:\Users\LINGDU\Desktop\llama-b9196-bin-win-cuda-12.4-x64 务必改成你自己的路径！
部署后 127.0.0.1:8080 访问。




测试：编码可以跑。能处理图片。其他的拉稀中。
总结：学习机小拉拉一枚。