抡锤者

@Prio 基本上实际工作中用的时候 token/s 80

3090 单卡开启 Qwen3.8-27B 图像理解实测：VISION=1 即可，文本/DFlash2 全保留，附可证伪验证

跟着楼主这套syv-ai/qwen38-27b-rtx3090 部署的，环境完全一致：RTX 3090 24G、SPEC=dflash2 、CTX=long （131072）、PREFIX_CACHE=1 、vLLM 0.28.0。原帖主要讲文本速度，补充一下 图像理解（vision）这条路径 的开启经历，给后来人参考。

结论先说：只需要在.env 加一行VISION=1 ，docker compose --profile single up -d 重建即可。 不用换模型、不用动量化、不用牺牲 DFlash2 和上下文长度。

1. 模型本来就带完整视觉塔

部署用的Qwen3.8-27B-W4A16-AutoRound 不是纯文本模型，config.json 架构是Qwen3_5ForConditionalGeneration ，处理器是Qwen3VLProcessor （图像+视频处理器都在）。关键点：量化时model.visual.* 视觉塔权重被特意排除在 int4 之外、保持 BF16，约 0.85 GiB 。默认启动参数里的--language-model-only 只是把这座塔"摘掉不加载"。

2. 实际改了什么

Bash

运行

1
2

# /root/qwen38-27b-rtx3090/.env 末尾追加 VISION=1

启动后命令行变化（PID 1 实测）：

• 移除：--language-model-only
• 新增：--limit-mm-per-prompt {"image":{"count":1}}
• 新增：--mm-processor-kwargs {"size":{"shortest_edge":65536,"longest_edge":2097152}}
  即每轮对话 1 张图、像素上限约 2048 个图像 token（截图/文档照/画面分析足够）。

3. 24G 显存是怎么塞下的：视觉塔 CPU offload

这个是项目自带的私有补丁（vision-tower-cpu-offload.patch ），VISION_OFFLOAD 默认就是 1：视觉塔 0.85 GiB 权重常驻 锁页主机内存 ，只在图片编码时把对应模块短暂拷上 GPU，编码完即释放。启动日志可见：

1
2

Total CPU offloaded parameters: 0.85 GPU KV cache size: 136,429 tokens

README 里作者也写明了：24G 上SPEC=dflash2 + VISION=1 不开 offload 会在 graph capture 阶段 OOM （960MB 的 split-KV verify buffer 分配不出来），开 offload 后 KV 池不缩水，编码输出与常驻显存逐 bit 一致。单图编码代价约 296→333ms（8192-patch，PCIe 4.0），实测中几乎无感。

4. 实测数据（2026-09-27）

启动后 stable healthy，/health 返回 200。显存 22.8/24 GiB，与纯文本模式基本持平。

测试 结果 纯文本回归（中文问答） 正常，0.9s，思考链完整 红底+蓝圆+黄方块，问背景/图形/颜色 "背景是红色；图中有一个蓝色的圆形和一个黄色的正方形。" 全对，image tokens=256 白底黑字 OCR（VISION-OK-2026） 逐字符准确读出，image tokens=100

特意用了可证伪的合成图而不是"描述一下这张图"——返回里usage.prompt_tokens_details.multimodal_tokens.image 有计数，能证明图真的进了模型，而不是被静默忽略后瞎编。

5. 几个坑/边界，供参考

1. 每轮限 1 张图 ，发第 2 张服务端直接 HTTP 400（At most 1 image(s) ），不会 OOM、不影响服务。
2. 像素超限只缩放不报错，超大图细节会被压掉。
3. 视频理解引擎层支持 （qwen3_5 注册了 image+video 双模态，cv2 解码依赖镜像里自带），但项目只验证过单图路径；而且 vLLM 启动是按最坏情况预留显存的，视频要开必须显式调帧数/分辨率限额，能不能过启动 profiling 是第一道关，目前没开。
4. 容器重启策略是no ，开机要手动起。
5. 回滚：删掉VISION=1 重建即可（建议先备份.env ）。
   整体感受：楼主这套方案视觉这块属于"功能都在、默认关掉、留了一个官方开关"的状态，开启成本比预想低很多，24G 单卡图文混合用完全可行.

当你不买的时候他每天都在涨价 , 你一但买了绝逼第二天就暴跌 , 老黄和东哥都商量好了就要坑我这万把块钱

测试平台 尔英12700H DDR4 64G 技嘉3090 24G


![chart_token_composition.png](https://upload.lcz
.me/uploads/9cf793af-b18b-4eb8-bdb4-ec1a8fe535a9.png)

来到论坛直接实操第一个贴 , 网速比较慢 还在下载 不过先谢谢版主