一、硬件描述

显卡： RTX 5070 Ti × 2
主板： 华南牌 X99-CD4 Gaming
处理器： E5-2680 V4
内存： DDR4 ECC-REG 16GB × 4
存储： 512GB NVMe

二、安装避坑

由于 RTX 5070 Ti 较新，我选择自行编译 llama.cpp，现将过程中的坑告诉大家：

编译器选择 GCC 12 版本；
CUDA 生态选择 CUDA 13.3 版本。

三、模型量化选择

我选择的是：

qwen3.8-27b-text-nvfp4-mtp.gguf

体验一下 50 系显卡支持的 NVFP4 格式。

四、提速规划

我选择下面两种方法提高吐字效率：

选择张量并行，两张卡的核心同时计算；
选择开启 MTP，在计算第一个 Token 的时候预测接下来的两个 Token。

五、提速效果

选择流水线并行（--split-mode layer，按层分割）工作模式，默认一开始跑 40+ Token/s，上下文多了以后跑 31+ Token/s；改为张量并行（--split-mode tensor）工作模式以后，高上下文情况下稳定 52+ Token/s；
在张量并行高上下文 52+ Token/s 的基础上开启 MTP，稳定跑在 64+ Token/s，最高可以到 70+ Token/s。

六、llama.cpp 启动命令分享

./build/bin/llama-server \
    --model "$MODEL_PATH" \
    --host 0.0.0.0 \
    --port 8080 \
    --n-gpu-layers 999 \
    --ctx-size 262144 \
    --flash-attn on \
    --parallel 2 \
    --threads 16 \
    --batch-size 2048 \
    --cache-type-k q8_0 \
    --cache-type-v q8_0 \
    --split-mode tensor \
    --main-gpu 0 \
    --tensor-split 1,1 \
    --spec-type draft-mtp \
    --spec-draft-n-max 2 \
    -np 1 \
    --no-mmap \
    --verbose > "$LOG_FILE" 2>&1 &

七、显卡工作状态

提供一下高负载情况下显卡工作状态：

Sat Aug 22 13:42:57 2026
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 580.173.02             Driver Version: 580.173.02     CUDA Version: 13.0     |
+-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA GeForce RTX 5070 Ti     Off |   00000000:03:00.0 Off |                  N/A |
| 40%   59C    P1            189W /  300W |   15823MiB /  16303MiB |     83%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+
|   1  NVIDIA GeForce RTX 5070 Ti     Off |   00000000:04:00.0 Off |                  N/A |
| 46%   60C    P1            192W /  300W |   15823MiB /  16303MiB |     83%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+

+-----------------------------------------------------------------------------------------+
| Processes:                                                                              |
|  GPU   GI   CI              PID   Type   Process name                        GPU Memory |
|        ID   ID                                                               Usage      |
|=========================================================================================|
|    0   N/A  N/A            1372      C   ./build/bin/llama-server              15808MiB |
|    1   N/A  N/A            1372      C   ./build/bin/llama-server              15808MiB |
+-----------------------------------------------------------------------------------------+

总结

双 RTX 5070 Ti 16GB 显卡可以支持 Qwen3.8-27B 在 256K 上下文环境下提供可靠的 Token 产出效率，但是只能单用户使用；整机成本在购买的时候大概是 ￥19000 元左右。

抡锤者

叶镇源