小小秀一下我的AI RIG
-
从左到右：
- 主机是AI MAX 395+ 128G统一内存
- 中间是一个霸气的绿联显卡坞插了一个R9700，USB4连接到主机
- 右边是一个4090 48G魔改涡轮卡，插在京东999显卡坞上，USB4连接到主机
可以干啥：
同时存在A卡、N卡、集成显卡（APU），一共有80G的VRAM，128G的UMA，可以跑这些组合：- llama.cpp 特殊编译选项（后面附），可以识别所有卡，可以跨卡用
-ts参数跑230B的量化大模型，速度还可以； - 可以在N卡上用vLLM跑Qwen3.6 27B Q6量化的模型，充分发挥vLLM的MTP功能，推理速度和Prefill速度都比llama.cpp更快；
- 可以在A卡、N卡上分别跑Comfy-UI；
- 主机AI MAX 395+的APU上因为内存大，可以跑一个Qwen3.5 122B的MoE模型，上下文短点的情况下速度也还可以。
- ……其他各种组合还可以发挥发挥
附llama.cpp编译参数
即让同一个llama.cpp即能识别A卡（ROCm设备），又能识别N卡（CUDA设备），还能用Vulkan通吃所有卡：cmake -S . -B build \ -DGGML_HIP=ON \ -DGGML_VULKAN=ON \ -DGGML_CUDA=ON \ -DCMAKE_CUDA_ARCHITECTURES=89 \ -DGGML_RPC=ON \ -DLLAMA_HIP_UMA=ON \ -DAMDGPU_TARGETS="gfx1030;gfx1031;gfx1151;gfx1201" \ -DCMAKE_CUDA_COMPILER=/usr/local/cuda/bin/nvcc \ -DGGML_BACKEND_DL=ON \ -DGGML_NATIVE=OFF \ -DCMAKE_BUILD_TYPE=Release \ && cmake --build build -j$(nproc) \ && cmake --install build说明：关键点是查好自己显卡的代号，然后正确设置
CMAKE_CUDA_ARCHITECTURES，AMDGPU_TARGETS这几个宏。然后编译成功，用llama-cli --list-devices命令能看到自己的卡就说明成功了：fred@ai395:~$ llama-cli --list-devices ...... Available devices: CUDA0: NVIDIA GeForce RTX 4090 (48508 MiB, 558 MiB free) ROCm0: Radeon 8060S Graphics (126976 MiB, 99084 MiB free) ROCm1: AMD Radeon AI PRO R9700 (32624 MiB, 32556 MiB free) Vulkan0: NVIDIA GeForce RTX 4090 (49386 MiB, 782 MiB free) Vulkan1: AMD Radeon AI PRO R9700 (RADV GFX1201) (32624 MiB, 32566 MiB free) Vulkan2: Radeon 8060S Graphics (RADV GFX1151) (127488 MiB, 111400 MiB free)vLLM在N卡单跑Qwen3.6 27B Q6大模型的命令行：
export MODEL=/home/fred/llama-models/QuantTrio/Qwen3.6-27B-AWQ-6Bit export SERVED_MODEL_NAME=Qwen3.6-27B-vLLM export DOCKER_IMG=vllm/vllm-openai:latest export HOST_PORT=8000 podman run --name ${SERVED_MODEL_NAME} --device nvidia.com/gpu=all \ -v /tmp:/workspace \ -v $MODEL:$MODEL \ --env "HF_TOKEN=$HF_TOKEN" \ -p 8000:8000 \ --ipc=host \ $DOCKER_IMG $MODEL \ --max-model-len 200000 \ --speculative-config '{"method": "mtp", "num_speculative_tokens": 3}' \ --kv-cache-dtype fp8 \ --tensor-parallel-size 1 \ --enable-prefix-caching \ --max-num-batched-tokens 8192 \ --max-num-seqs 2 \ --served-model-name ${SERVED_MODEL_NAME} \ --enable-auto-tool-choice \ --reasoning-parser qwen3 \ --tool-call-parser qwen3_coder \ --gpu-memory-utilization 0.9 \ --host 0.0.0.0 \ --port 8000其他说明
- 模型可以全速跑，但前提是全量的模型必须能fit进某一个卡的VRAM，这样USB4不会造成降速。
- 用llama.cpp的
-ts选项跨卡跑模型，可以充分利用各卡的显存，由于USB4的时延比PCIE高，所以性能稍有损失，但不大，因为跨卡数据交换量不大且交换并不频繁。 - vLLM不可跨A卡和N卡跑Tensor Parallel，只能跨多个A卡和多个N卡（因为底层的PyTorch只能支持一个版本）。
- 我在llama.cpp和vLLM前端顶了一个可以自动切换模型的代理工具
llama-swap，定义好之后用起来是很方便的。 - 操作系统是Fedora Linux 43，驱动跟着社区更新就行（时不时的
dnf update一下）。 - 要懂点Linux，不然不要这么玩，还是要懂些技术才能搞定的。
秀完了
这一套东西，加起来还是得5万左右。现在AI MAX 395又涨价了，可能现在得5万5左右了。目前还只是纯玩，平时实在没时间琢磨怎么用它赚钱。 -
就小特大侄子的新闻我锁定了一个卖点，你可以看看。
-
没啥用，二手或者三手后，打五折
-
-
-
-
F Fred 于 引用了 此主题
-
从左到右：
- 主机是AI MAX 395+ 128G统一内存
- 中间是一个霸气的绿联显卡坞插了一个R9700，USB4连接到主机
- 右边是一个4090 48G魔改涡轮卡，插在京东999显卡坞上，USB4连接到主机
可以干啥：
同时存在A卡、N卡、集成显卡（APU），一共有80G的VRAM，128G的UMA，可以跑这些组合：- llama.cpp 特殊编译选项（后面附），可以识别所有卡，可以跨卡用
-ts参数跑230B的量化大模型，速度还可以； - 可以在N卡上用vLLM跑Qwen3.6 27B Q6量化的模型，充分发挥vLLM的MTP功能，推理速度和Prefill速度都比llama.cpp更快；
- 可以在A卡、N卡上分别跑Comfy-UI；
- 主机AI MAX 395+的APU上因为内存大，可以跑一个Qwen3.5 122B的MoE模型，上下文短点的情况下速度也还可以。
- ……其他各种组合还可以发挥发挥
附llama.cpp编译参数
即让同一个llama.cpp即能识别A卡（ROCm设备），又能识别N卡（CUDA设备），还能用Vulkan通吃所有卡：cmake -S . -B build \ -DGGML_HIP=ON \ -DGGML_VULKAN=ON \ -DGGML_CUDA=ON \ -DCMAKE_CUDA_ARCHITECTURES=89 \ -DGGML_RPC=ON \ -DLLAMA_HIP_UMA=ON \ -DAMDGPU_TARGETS="gfx1030;gfx1031;gfx1151;gfx1201" \ -DCMAKE_CUDA_COMPILER=/usr/local/cuda/bin/nvcc \ -DGGML_BACKEND_DL=ON \ -DGGML_NATIVE=OFF \ -DCMAKE_BUILD_TYPE=Release \ && cmake --build build -j$(nproc) \ && cmake --install build说明：关键点是查好自己显卡的代号，然后正确设置
CMAKE_CUDA_ARCHITECTURES，AMDGPU_TARGETS这几个宏。然后编译成功，用llama-cli --list-devices命令能看到自己的卡就说明成功了：fred@ai395:~$ llama-cli --list-devices ...... Available devices: CUDA0: NVIDIA GeForce RTX 4090 (48508 MiB, 558 MiB free) ROCm0: Radeon 8060S Graphics (126976 MiB, 99084 MiB free) ROCm1: AMD Radeon AI PRO R9700 (32624 MiB, 32556 MiB free) Vulkan0: NVIDIA GeForce RTX 4090 (49386 MiB, 782 MiB free) Vulkan1: AMD Radeon AI PRO R9700 (RADV GFX1201) (32624 MiB, 32566 MiB free) Vulkan2: Radeon 8060S Graphics (RADV GFX1151) (127488 MiB, 111400 MiB free)vLLM在N卡单跑Qwen3.6 27B Q6大模型的命令行：
export MODEL=/home/fred/llama-models/QuantTrio/Qwen3.6-27B-AWQ-6Bit export SERVED_MODEL_NAME=Qwen3.6-27B-vLLM export DOCKER_IMG=vllm/vllm-openai:latest export HOST_PORT=8000 podman run --name ${SERVED_MODEL_NAME} --device nvidia.com/gpu=all \ -v /tmp:/workspace \ -v $MODEL:$MODEL \ --env "HF_TOKEN=$HF_TOKEN" \ -p 8000:8000 \ --ipc=host \ $DOCKER_IMG $MODEL \ --max-model-len 200000 \ --speculative-config '{"method": "mtp", "num_speculative_tokens": 3}' \ --kv-cache-dtype fp8 \ --tensor-parallel-size 1 \ --enable-prefix-caching \ --max-num-batched-tokens 8192 \ --max-num-seqs 2 \ --served-model-name ${SERVED_MODEL_NAME} \ --enable-auto-tool-choice \ --reasoning-parser qwen3 \ --tool-call-parser qwen3_coder \ --gpu-memory-utilization 0.9 \ --host 0.0.0.0 \ --port 8000其他说明
- 模型可以全速跑，但前提是全量的模型必须能fit进某一个卡的VRAM，这样USB4不会造成降速。
- 用llama.cpp的
-ts选项跨卡跑模型，可以充分利用各卡的显存，由于USB4的时延比PCIE高，所以性能稍有损失，但不大，因为跨卡数据交换量不大且交换并不频繁。 - vLLM不可跨A卡和N卡跑Tensor Parallel，只能跨多个A卡和多个N卡（因为底层的PyTorch只能支持一个版本）。
- 我在llama.cpp和vLLM前端顶了一个可以自动切换模型的代理工具
llama-swap，定义好之后用起来是很方便的。 - 操作系统是Fedora Linux 43，驱动跟着社区更新就行（时不时的
dnf update一下）。 - 要懂点Linux，不然不要这么玩，还是要懂些技术才能搞定的。
秀完了
这一套东西，加起来还是得5万左右。现在AI MAX 395又涨价了，可能现在得5万5左右了。目前还只是纯玩，平时实在没时间琢磨怎么用它赚钱。
