目前跑的是Qwen/Qwen3.6-35B-A3B-FP8, vllm version 0.21.0, 局域网组网使用了Tailscale, 远程登录没问题. 客户机里面运行Hermes agent. , vLLM + tensor-parallel 的参数自己不会搞, 准备让hermes自己优化.
分享个启动脚本
ames@ames-P10DRG:~$ cat vllm/start_vllm.sh
#!/bin/bash
# =============================================================================
# Qwen3.6-35B-A3B-FP8 vLLM Optimized Startup Script v4.0
# 基于 start_qwen3.6_claude.sh v3.1 的架构，针对 RTX 5880 Ada 全面优化
# 优化项:
# 1. max-num-batched-tokens 8192 -> 32768 (吞吐提升 ~4x)
# 2. max-num-seqs 16 -> 32 (并发请求翻倍)
# 3. max-model-len 262144 -> 40960 (MoE 线性注意力层 KV cache 实际上限 ~40K)
# 4. gpu-memory-utilization 0.92 -> 0.90 (更安全，避免 OOM)
# 5. 保留动态 NUMA 检测 + v0.21.0 内置 --numa-bind
# =============================================================================
set -euo pipefail
# --- 配置区 ---
VENV_PATH="$HOME/vllm_env/bin/activate"
MODEL_NAME="Qwen/Qwen3.6-35B-A3B-FP8"
SERVED_NAME="qwen3.6-35b"
PORT=8000
# --- 1. 激活虚拟环境 ---
echo "[1/3] 正在激活 Python 虚拟环境..."
source "$VENV_PATH"
# --- 2. 硬件级 NUMA 优化 ---
# 动态检测 GPU 所在 NUMA 节点，避免硬编码（双路 CPU 架构下降低跨桥延迟）
echo "[2/3] 正在检测显卡 NUMA 拓扑节点..."
NUMA_NODE=$(cat /sys/bus/pci/devices/0000:af:00.0/numa_node 2>/dev/null || echo "0")
if [[ "$NUMA_NODE" == "-1" ]]; then NUMA_NODE="0"; fi
echo " 已锁定至 NUMA Node ${NUMA_NODE}"
# --- 3. 启动 vLLM ---
echo "[3/3] 正在拉起 vLLM 推理引擎..."
VLLM_ARGS=(
# ── 模型 ─────────────────────────────────────────────────────────────────
--model "$MODEL_NAME"
--served-model-name "$SERVED_NAME"
--port "$PORT"
# ── GPU 资源 ──────────────────────────────────────────────────────────────
--tensor-parallel-size 1
--gpu-memory-utilization 0.90
# ── NUMA 绑定（v0.21.0 内置，无需 numactl）───────────────────────────────
--numa-bind
--numa-bind-nodes "$NUMA_NODE"
# ── 上下文窗口 ────────────────────────────────────────────────────────────
# MoE 模型 40 层中 30 层为线性注意力，每位置 KV cache 约 250 KB
# 48 GB GPU 扣除 ~35 GB 权重后，KV 预算仅 ~9 GB ≈ 39K positions
--max-model-len 40960
--max-num-batched-tokens 32768
--max-num-seqs 32
# ── 推理解析 ──────────────────────────────────────────────────────────────
--reasoning-parser qwen3
# ── 工具调用 ──────────────────────────────────────────────────────────────
--enable-auto-tool-choice
--tool-call-parser qwen3_coder
# ── 投机解码（MTP）───────────────────────────────────────────────────────
# num_speculative_tokens=1 已验证接受率最佳，>1 会降低整体吞吐
--speculative-config '{"method":"mtp","num_speculative_tokens":1}'
# ── FP8 KV Cache（节省约 30% VRAM）───────────────────────────────────────
--kv-cache-dtype fp8
# ── 性能优化 ──────────────────────────────────────────────────────────────
--performance-mode throughput
--enable-chunked-prefill
--enable-prefix-caching
# ── 日志精简 ──────────────────────────────────────────────────────────────
--disable-uvicorn-access-log
--disable-log-stats
--trust-remote-code
)
exec python3 -m vllm.entrypoints.openai.api_server "${VLLM_ARGS[@]}"
