<![CDATA[双3090 nvlink Xid 175 - 为了解决问题 反而有意外惊喜]]>这几天发生了几次 GPU 挂掉（GPU没反应 nvtop 没反应）所以叫AI 解决

变更 原因
驱动从 nvidia-driver-595-open 切换到 nvidia-driver-595 (proprietary) open kernel 驱动强制使用 GSP-RM，无法关闭。要关 GSP-RM 必须切回 proprietary。
关闭 GSP-RM (NVreg_EnableGpuFirmware=0) Xid 175 是 GSP 固件超时挂起。关闭 GSP-RM 完全消除这一类故障。
gpu-memory-utilization 从 0.9388 调到 0.9 下午的 Xid 74 是 NVLink 错误，怀疑是显存使用率太高（98.6%)

当前配置 测试结果

测试项目 数值
首响应时间 TTFT（短 prompt，冷启动） 163 ms
总响应时间（10 tokens） 293 ms
Prefill 1K 1,991 tok/s
Prefill 4K 2,036 tok/s
Prefill 16K 1,985 tok/s
Decode（单流） 69.3 tok/s
50K prompt 冷启动 TTFT 25.06 秒
50K prompt 缓存命中 TTFT 0.69 秒
缓存加速比 36.5×

配置 对比

测试项目 nvidia-driver-595-open, GSP-on, util=0.9388 当前 nvidia-driver-595, GSP-off, util=0.9
Decode 67 tok/s 69.3 tok/s
Prefill 4K 1,289 tok/s 2,036 tok/s
Prefill 16K — 1,985 tok/s
50K cold TTFT ~35 秒（估算） 25.06 秒
显存峰值（双并发负载） 23.6+ GiB 22.7 GiB

vLLM 启动参数 (docker-compose.yml)

--model /models/heretic-gptq-int4
--served-model-name qwen3.6-27b-heretic
--quantization gptq_marlin
--dtype float16
--tensor-parallel-size 2
--max-model-len 262144
--gpu-memory-utilization 0.9        # via ~/vllm/.env: GPU_MEM_UTIL=0.9
--max-num-seqs 2
--max-num-batched-tokens 8192
--kv-cache-dtype fp8_e5m2
--trust-remote-code
--reasoning-parser qwen3
--enable-auto-tool-choice
--tool-call-parser qwen3_coder
--enable-prefix-caching
--enable-chunked-prefill
--disable-custom-all-reduce         # 必需 — 否则双 socket NUMA setup 在 CUDA graph profiling 阶段崩溃
--host 0.0.0.0
--port 8000

硬件 & 操作系统

项目 配置
GPU 2× NVIDIA GeForce RTX 3090 (24 GiB / card, NVLink)
功耗上限 250 W / GPU
OS Ubuntu 24.04 LTS (noble)
内核 6.8.0-124-generic
NVIDIA 驱动 nvidia-driver-595 proprietary, v595.71.05 (DKMS-built)
GSP-RM 禁用 (NVreg_EnableGpuFirmware=0 in /etc/modprobe.d/nvidia-no-gsp.conf)
Docker 29.5.2 + nvidia-container-toolkit 1.19.1

vLLM 引擎

项目 配置
版本 vLLM v0.21.0 (官方镜像 vllm/vllm-openai:v0.21.0)
部署方式 Docker Compose，systemd 启动 (vllm-heretic.service)
]]>https://lcz.me/topic/412/双3090-nvlink-xid-175-为了解决问题-反而有意外惊喜RSS for NodeSun, 26 Jul 2026 23:29:53 GMTWed, 03 Jun 2026 15:57:02 GMT60<![CDATA[Reply to 双3090 nvlink Xid 175 - 为了解决问题 反而有意外惊喜 on Wed, 03 Jun 2026 20:54:50 GMT]]>不错，nvlink以后个人市场很难看到了，也算有考古价值了。

]]>https://lcz.me/post/4889https://lcz.me/post/4889Wed, 03 Jun 2026 20:54:50 GMT<![CDATA[Reply to 双3090 nvlink Xid 175 - 为了解决问题 反而有意外惊喜 on Wed, 03 Jun 2026 16:42:43 GMT]]>速度不错 👍

]]>https://lcz.me/post/4874https://lcz.me/post/4874Wed, 03 Jun 2026 16:42:43 GMT