1. 测试环境

客户端（局域网 Mac）

• DeepSeek Harness（DSH）GUI：http://127.0.0.1:3080
• 通过 llm-pi-ai provider r9700 接入本地模型

2. 宿主机（PVE）参数

3. 虚拟机 102 完整配置（示例）

qm config 102 输出：

agent: 1
bios: ovmf
boot: order=scsi0;net0
cores: 12
cpu: host
efidisk0: local:102/vm-102-disk-0.qcow2,efitype=4m,ms-cert=2023k,pre-enrolled-keys=1,size=528K
hostpci0: 0000:04:00.0,pcie=1
machine: q35
memory: 40960
name: Ubuntu24-desktop
net0: virtio=BC:26:11:D3:08:ED,bridge=vmbr0,firewall=1（示例）
numa: 0
ostype: l26
scsi0: /dev/disk/by-id/nvme-KINGSTON_SNV2S1000G_50026B74370011C7,size=976762584K
scsihw: virtio-scsi-single
smbios1: uuid=0x489171-f6d7-492d-a80d-91e193db82a5（示例）
sockets: 1
vga: virtio-gl

4. 直通设备清单

Intel 核显 SR-IOV（未直通，空闲）

5. 客户机系统信息

磁盘布局

sda                    931.5G  （1T 直通盘）
├─sda1                   1G    /boot/efi（vfat）
├─sda2                   2G    /boot（ext4）
└─sda3               928.5G    LVM PV
  └─ubuntu--vg-ubuntu--lv  200G  /（ext4）

LVM 卷组 ubuntu-vg 还有约 728G 空闲，可随时扩容根分区：

sudo lvextend -l +100%FREE /dev/ubuntu-vg/ubuntu-lv && sudo resize2fs /dev/ubuntu-vg/ubuntu-lv

6. ROCm 计算环境

ROCm 相关路径

关键内核参数（GRUB）

quiet splash amdgpu.modeset=0   # AMD 卡纯计算模式

7. vLLM 推理服务

7.1 基本信息

7.2 完整启动脚本（本机）

文件位置：虚拟机 /tmp/run-vllm.sh

#!/bin/bash
sudo docker run --rm --name vllm102 \
  --device /dev/kfd --device /dev/dri \
  --group-add 44 --group-add 992 \
  --shm-size 4g --cap-add SYS_PTRACE --security-opt seccomp=unconfined \
  -v /home/Magic629/models/qwen3.8-27b-autoround:/model:ro \
  -v /tmp/launchers/patches/rdna_hybrid_w4a16.py:/opt/vllm/lib/python3.12/site-packages/vllm/model_executor/kernels/linear/mixed_precision/rdna_hybrid_w4a16.py:ro \
  -v /home/Magic629/.cache/vllm:/cache \
  -p 8000:8000 \
  -e HIP_VISIBLE_DEVICES=0 \
  -e VLLM_ROCM_USE_AITER=1 -e VLLM_ROCM_USE_AITER_UNIFIED_ATTENTION=1 \
  -e VLLM_ROCM_USE_AITER_MHA=0 -e VLLM_ROCM_USE_AITER_MLA=0 -e VLLM_ROCM_USE_AITER_MOE=0 \
  -e VLLM_ROCM_USE_AITER_LINEAR=0 -e VLLM_ROCM_USE_AITER_FP8BMM=0 -e VLLM_ROCM_USE_AITER_FP4BMM=0 -e VLLM_ROCM_USE_AITER_RMSNORM=0 \
  -e RADIANCE_PRESHUFFLE=1 -e RADIANCE_ATTN_TUNE=1 -e RADIANCE_GDN_WMMA=1 \
  -e RADIANCE_VIT_FLASH=1 -e RADIANCE_FUSE_RMS_QUANT=1 -e RADIANCE_DYNAMIC_DRAFT=1 \
  -e RADIANCE_SKINNY_GEMM=all \
  -e VLLM_CACHE_ROOT=/cache/vllm -e TORCHINDUCTOR_CACHE_DIR=/cache/inductor -e TRITON_CACHE_DIR=/cache/triton -e AITER_ROOT_DIR=/cache/aiter \
  -e TRITON_CACHE_AUTOTUNING=1 \
  stilldeadcode/vllm-radiance:0.9.3 \
  /model \
  --served-model-name qwen3.8-27b-int4 \
  --quantization auto_gptq \
  --kv-cache-dtype fp8 \
  --tensor-parallel-size 1 \
  --gpu-memory-utilization 0.97 \
  --max-model-len 131072 \
  --max-num-seqs 2 \
  --max-num-batched-tokens 4854 \
  --attention-backend R4D \
  --enable-prefix-caching --mamba-cache-mode align \
  --reasoning-parser qwen3 \
  --tool-call-parser qwen3_xml --enable-auto-tool-choice \
  --speculative-config '{"method":"mtp","num_speculative_tokens":4,"attention_backend":"R4D","disable_padded_drafter_batch":true}' \
  --trust-remote-code \
  --host 0.0.0.0 --port 8000

7.3 启动参数说明

7.4 模型 config.json 补丁（重要）

模型原始 quantization_config.quant_method 是 auto-round，必须补丁为 auto_gptq，否则静默以未量化方式加载（54GB → OOM）。

补丁内容（已应用到 /home/Magic629/models/qwen3.8-27b-autoround/config.json）：

{
  "quantization_config": {
    "quant_method": "auto_gptq",
    "desc_act": false,
    "lm_head": false,
    "modules_in_block_to_quantize": [
      "self_attn.q_proj", "self_attn.k_proj", "self_attn.v_proj", "self_attn.o_proj",
      "mlp.gate_proj", "mlp.up_proj", "mlp.down_proj",
      "linear_attn.in_proj_qkv", "linear_attn.in_proj_z", "linear_attn.out_proj"
    ]
  }
}

原文件备份：config.json.autoround-orig

8. 投机解码配置

投机解码的 MTP 头占用了额外显存，因此 --max-model-len 从 204800 降到了 131072。

9. 多模态（看图）能力

10. DeepSeek Harness 接入

DSH 配置文件：/Users/magicz790/.dsh/settings.yaml

llm-pi-ai:
  providers:
    r9700:
      displayName: local-qwen
      apiKeyEnv: R9700_API_KEY          # 凭证值 "1234"（vLLM 不校验鉴权，家庭用公用）
      api: openai-completions
      baseURL: http://192.168.67.202:8000/v1
      defaultInput: [text, image]
      models:
        - id: qwen3.8-27b-int4
          name: Qwen3.8-27B-int4-AutoRound
          input: [text, image]
          contextWindow: 128000
agent-default-model:
  provider: r9700
  model: qwen3.8-27b-int4

凭证文件：/Users/magicz790/.dsh/.credentials.yaml（R9700_API_KEY: "1234"）

11. 性能指标

说明：DSH/监控面板显示的「缓存命中 0%」是假象——radiance 版 vLLM 不回报 cached_tokens 字段，客户端读不到。实际缓存正常。

12. 维护命令大全

12.1 虚拟机（从 Mac 执行）

# 登录 PVE
ssh root@192.168.67.251

# 查看虚拟机状态
qm status 102
qm list

# 启动/关机/重启虚拟机
qm start 102
qm shutdown 102        # 优雅关机
qm stop 102            # 强制关机

# 查看虚拟机配置
qm config 102

# 进入虚拟机（通过 guest-agent 执行命令）
qm guest exec 102 -- <命令>
qm guest cmd 102 network-get-interfaces   # 查 IP

12.2 客户机（Ubuntu，从 Mac 执行）

ssh Magic629@192.168.67.202   

12.3 vLLM 服务管理

# 查看容器状态
sudo docker ps --filter name=vllm102

# 查看日志
tail -f /tmp/vllm-run.log

# 停止服务
sudo docker rm -f vllm102

# 启动/重启服务（脚本已含完整参数）
sudo bash /tmp/run-vllm.sh
# 后台启动（断开 SSH 不中断）
nohup bash -c 'echo "密码" | sudo -S -p "" bash /tmp/run-vllm.sh' > /tmp/vllm-run.log 2>&1 &

12.4 测试 API

# 列出模型
curl http://127.0.0.1:8000/v1/models

# 对话测试（无思考）
python3 - << 'EOF'
import urllib.request, json
data = {"model":"qwen3.8-27b-int4",
        "messages":[{"role":"user","content":"你好"}],
        "max_tokens":100,
        "chat_template_kwargs":{"enable_thinking":False}}
req = urllib.request.Request("http://127.0.0.1:8000/v1/chat/completions",
    data=json.dumps(data).encode(), headers={"Content-Type":"application/json"})
print(json.loads(urllib.request.urlopen(req).read())["choices"][0]["message"]["content"])
EOF

12.5 显卡监控

# 显存/温度/功率/占用
/opt/rocm/bin/rocm-smi
/opt/rocm/bin/rocm-smi --showmeminfo vram

# 架构信息
/opt/rocm/bin/rocminfo | grep -i "marketing name"

12.6 缓存命中率（真实值）

curl -s http://127.0.0.1:8000/metrics | grep -E "prefix_cache_(queries|hits)_total"
# 命中率 = hits_total / queries_total

12.7 磁盘扩容（需要时）

sudo lvextend -l +100%FREE /dev/ubuntu-vg/ubuntu-lv
sudo resize2fs /dev/ubuntu-vg/ubuntu-lv

13. 常见问题

13. 局域网实测