两张Intel B70 共64G显存 vllm 部署 QWEN3.8-27B FP8 的过程及数据。
-
最近比较忙，一直没时间来去测试这个。 今天下午抽出时间来。想测试一下 qwen3.8-27B 的性能。 我看网上都是推荐 Q4/5/6/8 的精度的。 既然INTEL 的这个显存这么NB。 我又向他们里边人问了问，说是直接4卡部署吧，可我的其它两张卡还要用comfyui..... 于是： 两张卡来试试部署。直接部署 FP8吧。
过程：
- 操作系统： UBUNTU24.04
- intel 为 vllm 出了docker，这就简单多了，起码不用太多折腾了，代码：
docker pull intel/llm-scaler-vllm:0.21.0-b3.1- DOCKER 有15个G，为了更快和更稳.... 可以尝试用win下边的 docker desktop 加上科学上网然后拽下来之后再倒到ubuntu下边吧，因为WIN下边的科学上网貌似会稳定点？ 还是我个人的感觉问题？ win下边的 docker desktop 下载完之后，打个包到文件里，命令行：
docker save -o D:\llm-scaler-vllm-b3.1.tar intel/llm-scaler-vllm:0.21.0-b3.1-
下载大模型文件到相应地址，这个不多谈。
-
部署配置
ZE_AFFINITY_MASK="**1,2**" vllm serve \ --port 8989 \ --host 0.0.0.0 \ --gpu-memory-utilization 0.9 \ --max-num-batched-tokens 8192 \ --max-model-len **65536** \ --block-size 64 \ --dtype float16 \ --model models/LLM/Qwen3.8-27B-Uncensored-FP8 \ --served-model-name Qwen3.8-27B-FP8 \ --tensor-parallel-size 2 \ --quantization fp8 \ --enforce-eager \ --trust-remote-code \ --enable-prefix-caching \ --enable-auto-tool-choice \ **--tool-call-parser qwen3_coder \ --reasoning-parser qwen3**之后就直接起来了。
这里的标粗部分的解释：
1，2 这是说用哪张卡，是从0号开始，所以显示我用的第2、3张。
max-model-len 这个数值，如果弄的比较小，比如40K，那可能敏捷些，但用hermess 这些agent 的话，可能会‘拒绝服务’ 。综合试着，先这个64K吧，后续如果把图片反推/视频反推等功能用起来之后再加大到128K。- 下午一直在忙，同时进行着几个业务，既然只剩下电费钱了，索性放开吧：3台局域网内的电脑 每一台都开着 codex/opencode,其中两台还开着 hermess 和 workbuddy ，全部都在跑着任务。我把这些全部都配置上局域网内的这个QWEN3.8-27B的API了，同时，我还用hermes 调用着 remotion 在调整视频。 下边是我从微信上让hermes 来返回的数据截图
调用着 remotion 的截图
我的机器的截图
另外！！ 机器太吵了，为了降低噪音，我像老特一样，限制了频率只有80%。以上是8成的频率跑出来的数据。
说说使用感受： 比ds4flash 速度慢。 智商不够，但反应速度和智商我个人觉得完全满足了我本地调用的这些需求了。 如果要‘创造型’或者更深推理型的需求，那还是别难为自己， DSV4哪怕是PRO 也没几个钱的。 大家也看到了我部署的是什么模型，其实我只是想搞一个可以完全离线的本地可以肆无忌惮的模型测试一下而已。纯粹学术研究~~
另外就是.... 最近听说有个可以离线运行的桌面陪伴女友.... 代码我好像有来着。不知道本地运行咋样....
-
部署很扎实，这基本就是"本地推理服务器"的标准形态：双 B70 TP2 + FP8 + 64K，codex/opencode/hermes 全家桶都指到这一台，还限频 80% 压噪音。回应几个点：
1. 桌面陪伴能不能本地跑？能，而且你现成的基础设施直接能用。
这类应用本质 = 前端壳 + OpenAI 兼容后端。你现在 vLLM 起的 8989 端口就是标准 OpenAI 兼容 API，前端填http://<服务器IP>:8989/v1就行。生态最大的开源前端是 SillyTavern（角色卡、世界观、长期记忆插件都齐），27B FP8 跑陪伴/角色扮演场景绰绰有余，64K 上下文对人物卡 + lorebook 很宽裕；内存够的话再挂个 embedding 做长期记忆。唯一要留意的：这台服务器同时被 3 台机器 + 多个 agent 打，--max-num-batched-tokens 8192高峰期会排队，但陪伴场景单用户低并发，基本不受影响。2. Win 下 Docker Desktop + 科学上网下载更稳，不是错觉。
Docker Desktop 在 Windows 走的是它自己的网络栈，代理在 GUI 里一填就全局生效；Ubuntu 下docker pull走的是 daemon 的代理配置（/etc/systemd/system/docker.service.d/下的 http-proxy.conf，或~/.docker/config.json），很多人没配对，pull 就超时。你感觉"win 稳"大概率是代理配置到位与否的差别，不是系统差异。3. 两个小建议
--tool-call-parser qwen3_coder是为 Qwen3 Coder 系列设计的，你跑的是非 coder 的 Uncensored 版；如果 agent 调工具偶尔抽风，可以对比试qwen3parser（原生 Qwen3 系列格式），哪个稳用哪个；- "比 ds4flash 慢"正常：FP8 27B 的稠密激活和 DeepSeek MoE 不是一个量级，本地图的是离线 + 隐私 + 免费，速度别跟云端旗舰比。真到创造型/深推理需求，你说的对，直接 DSV4 按量付费更划算。
-
，
T terry 固定了此主题
-
昨天晚上用了两个复杂任务，去跑了整夜的任务。 上边的参数设置的还是有些保守 ，于是修改了参数：
增加上下文大小，调整预留显存比例，指定同时处理的图片的个数。这个模型我也不知道这算聪明还是傻，我发给它张图片，它直接调取了我的上下文然后发现我还有另一台带视频解析的模型，直接去调用了另一台机器做了图片OCR... 于是又调整了这个参数。
这个二货模型整的我哭笑不得~~~ZE_AFFINITY_MASK="1,2" vllm serve \ --port 8989 \ --host 0.0.0.0 \ --gpu-memory-utilization **0.95** \ --max-num-batched-tokens 8192 \ --max-model-len **98304** \ --block-size 64 \ --dtype float16 \ --model models/LLM/Qwen3.8-27B-Uncensored-FP8 \ --served-model-name Qwen3.8-27B-FP8 \ --tensor-parallel-size 2 \ --quantization fp8 \ --enforce-eager \ --trust-remote-code \ --enable-prefix-caching \ --enable-auto-tool-choice \ --tool-call-parser qwen3_coder \ --reasoning-parser qwen3 \ **--limit-mm-per-prompt image=4,video=1** -
容易崩溃，现在调整一下。 我不知道是不是我限制了卡的功率问题？...费解中。
ZE_AFFINITY_MASK="1,2" vllm serve \ --port 8989 \ --host 0.0.0.0 \ --gpu-memory-utilization 0.95 \ --max-num-batched-tokens 8192 \ --max-model-len 81920 \ --block-size 64 \ --dtype float16 \ --model models/LLM/Qwen3.8-27B-Uncensored-FP8 \ --served-model-name Qwen3.8-27B-FP8 \ --tensor-parallel-size 2 \ --quantization fp8 \ --enforce-eager \ --trust-remote-code \ --enable-prefix-caching \ --enable-auto-tool-choice \ --tool-call-parser qwen3_coder \ --reasoning-parser qwen3 \ --limit-mm-per-prompt image=4,video=1 -
我把评测的信息发给他们， 过了不到2分钟，大牛给了我新的代码， 直接FP8下边128K的上下文。3条线也可以满128K的上下文了....
技术好，果然可以为所欲为.....
export VLLM_ALLOW_LONG_MAX_MODEL_LEN=1 export VLLM_WORKER_MULTIPROC_METHOD=spawn export VLLM_OFFLOAD_WEIGHTS_BEFORE_QUANT=1 vllm serve \ --port 8000 \ --host 0.0.0.0 \ --gpu-memory-utilization 0.90 \ --max-num-batched-tokens 8192 \ --max-model-len 131072 \ --block-size 64 \ --dtype float16 \ --api-key "ww@lw" \ --model models/LLM/Qwen3.8-27B-Uncensored-FP8/ \ --served-model-name Qwen3.8-27B-FP8 \ --tensor-parallel-size 2 \ --quantization fp8 \ --enforce-eager \ --trust-remote-code \ --enable-prefix-caching \ --enable-auto-tool-choice \ --tool-call-parser qwen3_coder \ --reasoning-parser qwen3 \ --limit-mm-per-prompt image=4,video=1 \ > vllm-qwen3.8-27b.log 2>&1 & -
@张光璞 主要是这张卡也不便宜啊
-
@张光璞 主要是这张卡也不便宜啊
-
对已经 intel上车的同志。这是一个 灯塔。
-
分享一下我的结果 TP=2 PCIe4.0x8 虽然是一个月前测试的了但或许能帮上忙
docker run -d --name vllmb70 --ipc=host --shm-size=32g --dns 192.168.1.242 --device=/dev/dri:/dev/dri --privileged -p 1234:8000 \ -e VLLM_WORKER_MULTIPROC_METHOD=spawn \ -e ZE_FLAT_DEVICE_HIERARCHY=COMPOSITE \ -e ZE_AFFINITY_MASK=0,1 \ -e VLLM_ALLOW_LONG_MAX_MODEL_LEN=1 \ -e PYTORCH_ALLOC_CONF=expandable_segments:True \ -e VLLM_XPU_ENABLE_XPU_GRAPH=1 \ -e CCL_SYCL_ALLREDUCE_SIMPLE_THRESHOLD=4294967296 \ -e CCL_SYCL_REDUCE_SCATTER_SIMPLE_THRESHOLD=4294967296 \ -e CCL_SYCL_ALLGATHERV_SIMPLE_THRESHOLD=4294967296 \ -e CCL_SYCL_ALLTOALL_TMP_BUF=1 \ -e http_proxy= \ -e https_proxy= \ -e no_proxy= \ --entrypoint /bin/bash intel/llm-scaler-vllm:0.21.0-b2 -c " python3 -m vllm.entrypoints.openai.api_server \ --model Qwen/Qwen3.8-27B-FP8 \ --tokenizer Qwen/Qwen3.8-27B-FP8 \ --gpu-memory-utilization 0.97 \ --max-model-len 262144 \ --kv-cache-dtype auto \ --enable-prefix-caching \ --enable-auto-tool-choice \ --tool-call-parser qwen3_coder \ --default-chat-template-kwargs '{\"enable_thinking\": false}' \ --trust-remote-code \ --port 8000 \ --tensor-parallel-size 2 \ --pipeline-parallel-size 1 \ --cudagraph-capture-sizes 1 2 4 \ --dtype half \ "测试结果来自3.6-27b
单请求:- pp16384: ~2400tps
- tg512: 33.3tps
共享上下文大概480k at FP16 KV Cache，fp8的kv cache能上1M
在我的agent swarm 真实使用 16并行峰值能到吐字300tps
···
(APIServer pid=1) INFO 08-03 09:00:52 [loggers.py:273] Engine 000: Avg prompt throughput: 31.9 tokens/s, Avg generation throughput: 294.1 tokens/S, Running: 17 reqs, Waiting: 0 reqs, GPU KV cache usage: 50.6%, Prefix cache hit rate: 88.0%
(APIServer pid=1) INFO 08-03 09:01:02 loggers py:273] Engine 000: Avg prompt throughput: 60.7 tokens/s, Avg generation throughput: 280.0 tokens /S, Running: 17 reqs, Waiting: 0 reqs, GPU KV cache usage: 52.0%, Prefix cache hit rate: 88.0%
···XPU Graph 有时不太稳定但大致上能接受，但是不能接受intel摆烂的态度 https://github.com/intel/llm-scaler/issues/641
-
，系统 取消固定了此主题
-
分享一下我的结果 TP=2 PCIe4.0x8 虽然是一个月前测试的了但或许能帮上忙
docker run -d --name vllmb70 --ipc=host --shm-size=32g --dns 192.168.1.242 --device=/dev/dri:/dev/dri --privileged -p 1234:8000 \ -e VLLM_WORKER_MULTIPROC_METHOD=spawn \ -e ZE_FLAT_DEVICE_HIERARCHY=COMPOSITE \ -e ZE_AFFINITY_MASK=0,1 \ -e VLLM_ALLOW_LONG_MAX_MODEL_LEN=1 \ -e PYTORCH_ALLOC_CONF=expandable_segments:True \ -e VLLM_XPU_ENABLE_XPU_GRAPH=1 \ -e CCL_SYCL_ALLREDUCE_SIMPLE_THRESHOLD=4294967296 \ -e CCL_SYCL_REDUCE_SCATTER_SIMPLE_THRESHOLD=4294967296 \ -e CCL_SYCL_ALLGATHERV_SIMPLE_THRESHOLD=4294967296 \ -e CCL_SYCL_ALLTOALL_TMP_BUF=1 \ -e http_proxy= \ -e https_proxy= \ -e no_proxy= \ --entrypoint /bin/bash intel/llm-scaler-vllm:0.21.0-b2 -c " python3 -m vllm.entrypoints.openai.api_server \ --model Qwen/Qwen3.8-27B-FP8 \ --tokenizer Qwen/Qwen3.8-27B-FP8 \ --gpu-memory-utilization 0.97 \ --max-model-len 262144 \ --kv-cache-dtype auto \ --enable-prefix-caching \ --enable-auto-tool-choice \ --tool-call-parser qwen3_coder \ --default-chat-template-kwargs '{\"enable_thinking\": false}' \ --trust-remote-code \ --port 8000 \ --tensor-parallel-size 2 \ --pipeline-parallel-size 1 \ --cudagraph-capture-sizes 1 2 4 \ --dtype half \ "测试结果来自3.6-27b
单请求:- pp16384: ~2400tps
- tg512: 33.3tps
共享上下文大概480k at FP16 KV Cache，fp8的kv cache能上1M
在我的agent swarm 真实使用 16并行峰值能到吐字300tps
···
(APIServer pid=1) INFO 08-03 09:00:52 [loggers.py:273] Engine 000: Avg prompt throughput: 31.9 tokens/s, Avg generation throughput: 294.1 tokens/S, Running: 17 reqs, Waiting: 0 reqs, GPU KV cache usage: 50.6%, Prefix cache hit rate: 88.0%
(APIServer pid=1) INFO 08-03 09:01:02 loggers py:273] Engine 000: Avg prompt throughput: 60.7 tokens/s, Avg generation throughput: 280.0 tokens /S, Running: 17 reqs, Waiting: 0 reqs, GPU KV cache usage: 52.0%, Prefix cache hit rate: 88.0%
···XPU Graph 有时不太稳定但大致上能接受，但是不能接受intel摆烂的态度 https://github.com/intel/llm-scaler/issues/641
-
分享一下我的结果 TP=2 PCIe4.0x8 虽然是一个月前测试的了但或许能帮上忙
docker run -d --name vllmb70 --ipc=host --shm-size=32g --dns 192.168.1.242 --device=/dev/dri:/dev/dri --privileged -p 1234:8000 \ -e VLLM_WORKER_MULTIPROC_METHOD=spawn \ -e ZE_FLAT_DEVICE_HIERARCHY=COMPOSITE \ -e ZE_AFFINITY_MASK=0,1 \ -e VLLM_ALLOW_LONG_MAX_MODEL_LEN=1 \ -e PYTORCH_ALLOC_CONF=expandable_segments:True \ -e VLLM_XPU_ENABLE_XPU_GRAPH=1 \ -e CCL_SYCL_ALLREDUCE_SIMPLE_THRESHOLD=4294967296 \ -e CCL_SYCL_REDUCE_SCATTER_SIMPLE_THRESHOLD=4294967296 \ -e CCL_SYCL_ALLGATHERV_SIMPLE_THRESHOLD=4294967296 \ -e CCL_SYCL_ALLTOALL_TMP_BUF=1 \ -e http_proxy= \ -e https_proxy= \ -e no_proxy= \ --entrypoint /bin/bash intel/llm-scaler-vllm:0.21.0-b2 -c " python3 -m vllm.entrypoints.openai.api_server \ --model Qwen/Qwen3.8-27B-FP8 \ --tokenizer Qwen/Qwen3.8-27B-FP8 \ --gpu-memory-utilization 0.97 \ --max-model-len 262144 \ --kv-cache-dtype auto \ --enable-prefix-caching \ --enable-auto-tool-choice \ --tool-call-parser qwen3_coder \ --default-chat-template-kwargs '{\"enable_thinking\": false}' \ --trust-remote-code \ --port 8000 \ --tensor-parallel-size 2 \ --pipeline-parallel-size 1 \ --cudagraph-capture-sizes 1 2 4 \ --dtype half \ "测试结果来自3.6-27b
单请求:- pp16384: ~2400tps
- tg512: 33.3tps
共享上下文大概480k at FP16 KV Cache，fp8的kv cache能上1M
在我的agent swarm 真实使用 16并行峰值能到吐字300tps
···
(APIServer pid=1) INFO 08-03 09:00:52 [loggers.py:273] Engine 000: Avg prompt throughput: 31.9 tokens/s, Avg generation throughput: 294.1 tokens/S, Running: 17 reqs, Waiting: 0 reqs, GPU KV cache usage: 50.6%, Prefix cache hit rate: 88.0%
(APIServer pid=1) INFO 08-03 09:01:02 loggers py:273] Engine 000: Avg prompt throughput: 60.7 tokens/s, Avg generation throughput: 280.0 tokens /S, Running: 17 reqs, Waiting: 0 reqs, GPU KV cache usage: 52.0%, Prefix cache hit rate: 88.0%
···XPU Graph 有时不太稳定但大致上能接受，但是不能接受intel摆烂的态度 https://github.com/intel/llm-scaler/issues/641
