从左到右：

1. 主机是AI MAX 395+ 128G统一内存
2. 中间是一个霸气的绿联显卡坞插了一个R9700，USB4连接到主机
3. 右边是一个4090 48G魔改涡轮卡，插在京东999显卡坞上，USB4连接到主机

可以干啥：
同时存在A卡、N卡、集成显卡（APU），一共有80G的VRAM，128G的UMA，可以跑这些组合：

1. llama.cpp 特殊编译选项（后面附），可以识别所有卡，可以跨卡用-ts参数跑230B的量化大模型，速度还可以；
2. 可以在N卡上用vLLM跑Qwen3.6 27B Q6量化的模型，充分发挥vLLM的MTP功能，推理速度和Prefill速度都比llama.cpp更快；
3. 可以在A卡、N卡上分别跑Comfy-UI；
4. 主机AI MAX 395+的APU上因为内存大，可以跑一个Qwen3.5 122B的MoE模型，上下文短点的情况下速度也还可以。
5. ……其他各种组合还可以发挥发挥

附llama.cpp编译参数
即让同一个llama.cpp即能识别A卡（ROCm设备），又能识别N卡（CUDA设备），还能用Vulkan通吃所有卡：

cmake -S . -B build \
    -DGGML_HIP=ON \
    -DGGML_VULKAN=ON \
    -DGGML_CUDA=ON \
    -DCMAKE_CUDA_ARCHITECTURES=89 \
    -DGGML_RPC=ON \
    -DLLAMA_HIP_UMA=ON \
    -DAMDGPU_TARGETS="gfx1030;gfx1031;gfx1151;gfx1201" \
    -DCMAKE_CUDA_COMPILER=/usr/local/cuda/bin/nvcc \
    -DGGML_BACKEND_DL=ON \
    -DGGML_NATIVE=OFF \
    -DCMAKE_BUILD_TYPE=Release \
 && cmake --build build -j$(nproc) \
 && cmake --install build

说明：关键点是查好自己显卡的代号，然后正确设置CMAKE_CUDA_ARCHITECTURES，AMDGPU_TARGETS这几个宏。然后编译成功，用llama-cli --list-devices命令能看到自己的卡就说明成功了：

fred@ai395:~$ llama-cli --list-devices
......
Available devices:
  CUDA0: NVIDIA GeForce RTX 4090 (48508 MiB, 558 MiB free)
  ROCm0: Radeon 8060S Graphics (126976 MiB, 99084 MiB free)
  ROCm1: AMD Radeon AI PRO R9700 (32624 MiB, 32556 MiB free)
  Vulkan0: NVIDIA GeForce RTX 4090 (49386 MiB, 782 MiB free)
  Vulkan1: AMD Radeon AI PRO R9700 (RADV GFX1201) (32624 MiB, 32566 MiB free)
  Vulkan2: Radeon 8060S Graphics (RADV GFX1151) (127488 MiB, 111400 MiB free)

vLLM在N卡单跑Qwen3.6 27B Q6大模型的命令行：

export MODEL=/home/fred/llama-models/QuantTrio/Qwen3.6-27B-AWQ-6Bit
export SERVED_MODEL_NAME=Qwen3.6-27B-vLLM
export DOCKER_IMG=vllm/vllm-openai:latest
export HOST_PORT=8000

podman run --name ${SERVED_MODEL_NAME} --device nvidia.com/gpu=all \
    -v /tmp:/workspace \
    -v $MODEL:$MODEL \
    --env "HF_TOKEN=$HF_TOKEN" \
    -p 8000:8000 \
    --ipc=host \
    $DOCKER_IMG $MODEL \
    --max-model-len 200000 \
    --speculative-config '{"method": "mtp", "num_speculative_tokens": 3}' \
    --kv-cache-dtype fp8 \
    --tensor-parallel-size 1 \
    --enable-prefix-caching \
    --max-num-batched-tokens 8192 \
    --max-num-seqs 2 \
    --served-model-name ${SERVED_MODEL_NAME} \
    --enable-auto-tool-choice \
    --reasoning-parser qwen3 \
    --tool-call-parser qwen3_coder \
    --gpu-memory-utilization 0.9 \
    --host 0.0.0.0 \
    --port 8000

其他说明

• 模型可以全速跑，但前提是全量的模型必须能fit进某一个卡的VRAM，这样USB4不会造成降速。
• 用llama.cpp的-ts选项跨卡跑模型，可以充分利用各卡的显存，由于USB4的时延比PCIE高，所以性能稍有损失，但不大，因为跨卡数据交换量不大且交换并不频繁。
• vLLM不可跨A卡和N卡跑Tensor Parallel，只能跨多个A卡和多个N卡（因为底层的PyTorch只能支持一个版本）。
• 我在llama.cpp和vLLM前端顶了一个可以自动切换模型的代理工具llama-swap，定义好之后用起来是很方便的。
• 操作系统是Fedora Linux 43，驱动跟着社区更新就行（时不时的dnf update一下）。
• 要懂点Linux，不然不要这么玩，还是要懂些技术才能搞定的。

秀完了
这一套东西，加起来还是得5万左右。现在AI MAX 395又涨价了，可能现在得5万5左右了。目前还只是纯玩，平时实在没时间琢磨怎么用它赚钱。