双智铠100算力卡运行大模型的测试情况，当前已完整形成性能测试结果的模型为：

• Qwen3.6-35B-A3B-W4A8

并且opencode接入了该模型使用，非常快

2. 测试对象

硬件对象：双智铠100算力卡。

推理框架：vLLM。

接口协议：OpenAI Chat Completions API。

主要测试接口：

http://127.0.0.1:10030/v1/chat/completions

主要测试模型：

Qwen3.6-35B-A3B-W4A8

模型路径：

/data/model/Qwen3___6-35B-A3B-W4A8

3. Qwen3.6-35B-A3B-W4A8 启动命令

3.1 日常交互启动命令

该配置适合低并发、普通上下文和长上下文测试。

export VLLM_RPC_TIMEOUT=50000
export VLLM_ENFORCE_CUDA_GRAPH=1
export VLLM_W8A8_MOE_USE_W4A8=1
export VLLM_KV_DISABLE_CROSS_GROUP_SHARE=1

vllm serve /data/model/Qwen3___6-35B-A3B-W4A8 \
  --trust-remote-code \
  --tensor-parallel-size 2 \
  --max-num-seqs 4 \
  --enable-chunked-prefill \
  --max-model-len 65536 \
  --reasoning-parser qwen3 \
  --enable-auto-tool-choice \
  --tool-call-parser qwen3_coder \
  --host 0.0.0.0 \
  --port 10030 \
  --gpu-memory-utilization 0.90 \
  --served-model-name Qwen3.6-35B-A3B-W4A8 \
  --compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY", "level": 0}' \
  --default-chat-template-kwargs '{"enable_thinking": false}'

3.2 吞吐压测启动命令

该配置用于 6、8、12 并发测试，主要观察吞吐上限和过载边界。

export VLLM_RPC_TIMEOUT=50000
export VLLM_ENFORCE_CUDA_GRAPH=1
export VLLM_W8A8_MOE_USE_W4A8=1
export VLLM_KV_DISABLE_CROSS_GROUP_SHARE=1

vllm serve /data/model/Qwen3___6-35B-A3B-W4A8 \
  --trust-remote-code \
  --tensor-parallel-size 2 \
  --max-num-seqs 12 \
  --enable-chunked-prefill \
  --max-model-len 65536 \
  --reasoning-parser qwen3 \
  --enable-auto-tool-choice \
  --tool-call-parser qwen3_coder \
  --host 0.0.0.0 \
  --port 10030 \
  --gpu-memory-utilization 0.90 \
  --served-model-name Qwen3.6-35B-A3B-W4A8 \
  --compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY", "level": 0}' \
  --default-chat-template-kwargs '{"enable_thinking": false}'

4. 测试命令模板

4.1 单并发普通上下文测试

vllm bench serve \
  --backend openai-chat \
  --base-url http://127.0.0.1:10030 \
  --endpoint /v1/chat/completions \
  --model Qwen3.6-35B-A3B-W4A8 \
  --tokenizer /data/model/Qwen3___6-35B-A3B-W4A8 \
  --dataset-name random \
  --random-input-len 2048 \
  --random-output-len 512 \
  --num-prompts 20 \
  --request-rate inf \
  --max-concurrency 1 \
  --ignore-eos \
  --seed 123

4.2 普通上下文多并发测试

将 --max-concurrency 分别设置为 4、6、8、12。

vllm bench serve \
  --backend openai-chat \
  --base-url http://127.0.0.1:10030 \
  --endpoint /v1/chat/completions \
  --model Qwen3.6-35B-A3B-W4A8 \
  --tokenizer /data/model/Qwen3___6-35B-A3B-W4A8 \
  --dataset-name random \
  --random-input-len 4096 \
  --random-output-len 512 \
  --num-prompts 50 \
  --request-rate inf \
  --max-concurrency 8 \
  --ignore-eos \
  --seed 123

说明：4 并发测试时，实际提供的测试请求数为 10；6、8、12 并发测试请求数为 50。

4.3 长上下文测试

vllm bench serve \
  --backend openai-chat \
  --base-url http://127.0.0.1:10030 \
  --endpoint /v1/chat/completions \
  --model Qwen3.6-35B-A3B-W4A8 \
  --tokenizer /data/model/Qwen3___6-35B-A3B-W4A8 \
  --dataset-name random \
  --random-input-len 16384 \
  --random-output-len 512 \
  --num-prompts 20 \
  --request-rate inf \
  --max-concurrency 2 \
  --ignore-eos \
  --seed 123

5. Qwen3.6-35B-A3B-W4A8 测试结果总表

表格 1：基础信息与吞吐量

表格 2：延迟指标（TTFT / TPOT / ITL）

6. 每用户体感输出速度

每用户体感输出速度按以下公式估算：

每用户输出速度 ≈ 1000 / 平均 TPOT(ms)

补充：

配置信息

价格

公司订购的一台测试机子，工作站样式，外壳应该是铝的定制的；整机5w多。我看淘宝上同款推理卡mr-100一张1.5w左右