两张Intel B70 共64G显存 vllm 部署 QWEN3.8-27B FP8 的过程及数据。

[sirwang]

我把评测的信息发给他们， 过了不到2分钟，大牛给了我新的代码， 直接FP8下边128K的上下文。3条线也可以满128K的上下文了....

技术好，果然可以为所欲为.....

export VLLM_ALLOW_LONG_MAX_MODEL_LEN=1
export VLLM_WORKER_MULTIPROC_METHOD=spawn
export VLLM_OFFLOAD_WEIGHTS_BEFORE_QUANT=1

vllm serve \
    --port 8000 \
    --host 0.0.0.0 \
    --gpu-memory-utilization 0.90 \
    --max-num-batched-tokens 8192 \
    --max-model-len 131072 \
    --block-size 64 \
    --dtype float16 \
    --api-key "ww@lw" \
    --model models/LLM/Qwen3.8-27B-Uncensored-FP8/ \
    --served-model-name Qwen3.8-27B-FP8 \
    --tensor-parallel-size 2 \
    --quantization fp8 \
    --enforce-eager \
    --trust-remote-code \
    --enable-prefix-caching \
    --enable-auto-tool-choice \
    --tool-call-parser qwen3_coder \
    --reasoning-parser qwen3 \
    --limit-mm-per-prompt image=4,video=1 \
    > vllm-qwen3.8-27b.log 2>&1 &

[张光璞]

Intel 也要雄起了吗？

[applejuice]

@张光璞 主要是这张卡也不便宜啊

[terry]

@applejuice 雄起个锤子

[sirwang]

@张光璞 想多了。

[sirwang]

@applejuice 小黄鱼渠道。基本全新。不到8000，带保修。不香？~

[张光璞]

@sirwang 说:

@张光璞 想多了。

哈哈。蓝厂依旧扶不起，CPU再也不见i3 默秒全

[Fei Yan]

所以说这个双卡究竟带来了什么提高？是推理速度还是上下文大小？能在windows docker desktop跑吗？

[张光璞]

@Fei-Yan 说:

所以说这个双卡究竟带来了什么提高？是推理速度还是上下文大小？能在windows docker desktop跑吗？

跑起来了！

[williamlouis]

对已经 intel上车的同志。这是一个 灯塔。

[kaifan]

分享一下我的结果 TP=2 PCIe4.0x8 虽然是一个月前测试的了但或许能帮上忙

docker run -d --name vllmb70 --ipc=host --shm-size=32g --dns 192.168.1.242 --device=/dev/dri:/dev/dri --privileged -p 1234:8000 \
  -e VLLM_WORKER_MULTIPROC_METHOD=spawn \
  -e ZE_FLAT_DEVICE_HIERARCHY=COMPOSITE \
  -e ZE_AFFINITY_MASK=0,1 \
  -e VLLM_ALLOW_LONG_MAX_MODEL_LEN=1 \
  -e PYTORCH_ALLOC_CONF=expandable_segments:True \
  -e VLLM_XPU_ENABLE_XPU_GRAPH=1 \
  -e CCL_SYCL_ALLREDUCE_SIMPLE_THRESHOLD=4294967296 \
  -e CCL_SYCL_REDUCE_SCATTER_SIMPLE_THRESHOLD=4294967296 \
  -e CCL_SYCL_ALLGATHERV_SIMPLE_THRESHOLD=4294967296 \
  -e CCL_SYCL_ALLTOALL_TMP_BUF=1 \
  -e http_proxy= \
  -e https_proxy= \
  -e no_proxy= \
  --entrypoint /bin/bash intel/llm-scaler-vllm:0.21.0-b2 -c "
    python3 -m vllm.entrypoints.openai.api_server \
      --model Qwen/Qwen3.8-27B-FP8 \
      --tokenizer Qwen/Qwen3.8-27B-FP8 \
      --gpu-memory-utilization 0.97 \
      --max-model-len 262144 \
      --kv-cache-dtype auto \
      --enable-prefix-caching \
      --enable-auto-tool-choice \
      --tool-call-parser qwen3_coder \
      --default-chat-template-kwargs '{\"enable_thinking\": false}' \
      --trust-remote-code \
      --port 8000 \
      --tensor-parallel-size 2 \
      --pipeline-parallel-size 1 \
      --cudagraph-capture-sizes 1 2 4 \
      --dtype half \
  "

测试结果来自3.6-27b
单请求:

• pp16384: ~2400tps
• tg512: 33.3tps

共享上下文大概480k at FP16 KV Cache，fp8的kv cache能上1M
在我的agent swarm 真实使用 16并行峰值能到吐字300tps
···
(APIServer pid=1) INFO 08-03 09:00:52 [loggers.py:273] Engine 000: Avg prompt throughput: 31.9 tokens/s, Avg generation throughput: 294.1 tokens/S, Running: 17 reqs, Waiting: 0 reqs, GPU KV cache usage: 50.6%, Prefix cache hit rate: 88.0%
(APIServer pid=1) INFO 08-03 09:01:02 loggers py:273] Engine 000: Avg prompt throughput: 60.7 tokens/s, Avg generation throughput: 280.0 tokens /S, Running: 17 reqs, Waiting: 0 reqs, GPU KV cache usage: 52.0%, Prefix cache hit rate: 88.0%
···

XPU Graph 有时不太稳定但大致上能接受，但是不能接受intel摆烂的态度 https://github.com/intel/llm-scaler/issues/641

[terry]

@kaifan 我擦，这玩意还能凑到第二个人，佩服。你的帖子再次增加了主贴的含金量，英特尔用户可以来抄作业。

[sirwang]

@kaifan 可以试试qwen3.8-flash-next-fp8了。 对这个有些期待，虽然暂时这个3.8-27b还是相当香的。

[kaifan]

@sirwang 双卡放不下125B-FP8的模型了，四卡也跑不起来吧，看repo有186G，去掉ngram的50G还有136G呢

倒是在我主机跑了Q4起来，不过大部分都offload到系统内存了，大概pp 320tps tg 13tps 还不太到能用的程度