就Agent 場景 工具调用方面
目前我只覺得Deepseek-V4-Flash 可以正常運作 (有推薦的本地模型嗎？) ,

至於精確度較高的 Qwen3.6-27B (稠密模型) 我的系統跑起來 速度太慢 我當時沒認真研究它是否是一個合格的agentic model.
你有用過Qwen-Coder 模型嗎？ Agent方面, 我的使用體驗 比 Qwen3.6 來的好

实例2（GPU 1）：
REM 仅使用 RTX 3060 (12G VRAM)
set CUDA_VISIBLE_DEVICES=1

REM 请替换为你的实际路径
set SERVER_PATH=.\llama-server.exe

set MODEL_PATH=D:\MyModels\unsloth\gemma-4-12b-it-GGUF\gemma-4-12B-it-qat-UD-Q4_K_XL.gguf
set MMProj_PATH=D:\MyModels\unsloth\gemma-4-12b-it-GGUF\mmproj-gemma-4-12B-it-F16.gguf
set MTP_PATH=D:\MyModels\unsloth\gemma-4-12b-it-GGUF\mtp-gemma-4-12B-it.gguf

Hermes agent中qwen3.6做主模型、gemma-4做辅助模型（主要用于知识库文档识别时多模态）

给不同的人用，我觉得可以做参考，llama-server起两个服务运行在不同的端口，使用者通过端口来区分调用

@fcme 说:

做row切分的话可以可以加速到单卡的1.8倍左右速度

有嘗試過了嗎？
我目前只能做雙卡 PP/layer; 真的很想嘗試TP/row 比較一下速度

雙卡: 32GB VRAM 用Pipeline Parallel 安裝 Qwen3.6-35B-A3B-Q4_K_M
KV cache 用 q4_0 壓縮
context window 可以開蠻大的
雙卡安裝單一模型 只要不是單人大量連續使用 兩人共用是不會受影響

以上是現有模型中等品質的基本線，以這個速度和品質往上調整到最符合個人的需求 (產出品質需求不高就是往下調 拼速度)

核心思路：两张卡各绑定一个 vLLM 实例，互不干扰。

方案一：双 vLLM 实例（推荐）

在服务器上启动两个独立的 vLLM 服务进程：
实例1（GPU 0）：CUDA_VISIBLE_DEVICES=0 vllm serve Qwen/Qwen3.6-14B --port 8000
实例2（GPU 1）：CUDA_VISIBLE_DEVICES=1 vllm serve Qwen/Qwen3.6-14B --port 8001

每个人连自己的端口，API key 或 IP 白名单隔离也行。

每张卡 16G VRAM 能跑什么？

• Qwen3.6-14B（Q4_K_M, 约 9-10G） + 8-16K context 最推荐
• Qwen2.5-14B（int4, ~9G） 实际用速度很快
• Mistral Small 3.1 24B（Q4_K_M, ~14G）勉强塞一张卡，但 context 几乎没了
• DeepSeek-R1-Distill-Qwen-14B（Q4_K_M, ~9G） 推理任务很好

每人的建议配置：14B 稠密模型 + Q4 量化 + 8-16K 上下文，日常对话和 Agent 任务完全够。

方案二：llama.cpp 双 server

llama-server -m Qwen3.6-14B-Q4_K_M.gguf --port 8080 --main-gpu 0 --no-mmap
llama-server -m Qwen3.6-14B-Q4_K_M.gguf --port 8081 --main-gpu 1 --no-mmap

效果一样，但 GGUF 格式的模型好找。

注意事项：

• 5070 Ti 是 Blackwell 架构，llama.cpp 和 vLLM 的最新版本都支持了
• 两张卡之间不用做任何互联（不跑 TP/PP），各自独立推理
• 功耗：两张 5070 Ti 满载约 300W，注意电源余量
• 内存：每实例至少留 8-16G 系统内存做 KV cache swap 缓冲

如果需要两人跑不一样模型（例如一人 14B、一人跑更小的），各自启动不同模型文件就行。