Qwen3.6-27B 本地部署方案与测试报告

一、环境

二、总体架构

浏览器 → Open WebUI (:8080, venv) → dflash_server (:8000, C++/HIP) 
→ 7900 XTX
                                            │
Q4_K_M 主模型 16G + Q8_0 DFlash 草稿 1.8G（DDTree 树验证）

• 推理引擎：Lucebox DFlash（lucebox-hub 源码编译），块扩散草稿 + DDTree 树验证投机解码
• 隔离原则：venv 只隔离 Python 工具链（下载/前端）；模型即 GGUF 文件，多模型切换零隔离成本；未用 Docker
• 启动命令：dflash（模型 API）、dflash-ui（网页前端），GPU 高性能模式随服务启停自动切换（解决空载风扇噪音）

三、安装步骤（可复现）

# 1. 依赖
apt-get install -y git cmake build-essential hipblas-dev hipcub-dev \
  rocblas-dev rocprim-dev rocwmma-dev python3-venv

# 2. 源码
git clone --recurse-submodules https://github.com/Luce-Org/lucebox-hub
cd lucebox-hub/server

# 3. 编译（gfx1100，含 rocWMMA Phase2 prefill kernel）
cmake -B build -S . -DCMAKE_BUILD_TYPE=Release -DDFLASH27B_GPU_BACKEND=hip \
  -DDFLASH27B_HIP_ARCHITECTURES=gfx1100 -DDFLASH27B_HIP_SM80_EQUIV=ON
cmake --build build --target test_dflash dflash_server test_flashprefill_kernels -j4
./build/test_flashprefill_kernels   # 数值验证

# 4. Python 工具（venv）
python3 -m venv ~/venvs/dflash && ~/venvs/dflash/bin/pip install huggingface_hub transformers open-webui

# 5. 模型
hf download unsloth/Qwen3.6-27B-GGUF Qwen3.6-27B-Q4_K_M.gguf --local-dir ~/models/
hf download Lucebox/Qwen3.6-27B-DFlash-GGUF dflash-draft-3.6-q8_0.gguf --local-dir ~/models/draft/

四、关键调优与踩坑记录

五、测试报告

注：参考文章的 81 tok/s 未复现，原因有二——其使用 6 月旧版引擎（现行版在 gfx1100 有性能回退），且其 CPU 为双路 E5；本文数据为本机多次实测均值。

六、Web 支持（Open WebUI）

• pip install open-webui 装入同一 venv；启动脚本 dflash-ui 注入：
  • OPENAI_API_BASE_URL(S)=http://127.0.0.1:8000/v1
  • ENABLE_OLLAMA_API=false
• 访问 http://192.168.8.247:8080，首个注册账号自动成为管理员（数据全在本机）

七、网页搜索实现

原理：模型本身不联网。Open WebUI 中间件在调用模型前先用 DuckDuckGo（ddgs，免 API key，本机直连已验证）检索，把结果注入提示词，模型基于注入内容作答并附引用。

配置落地（两个教训）

1. 该版本配置键为 ENABLE_WEB_SEARCH / WEB_SEARCH_ENGINE（而非旧版 ENABLE_RAG_WEB_SEARCH）；
2. 首次启动会把默认值持久化进 SQLite（…/site-packages/open_webui/data/webui.db），之后 env 改不动——最终直接改库：
   • web.search.enable=true
   • web.search.engine="duckduckgo"
   • result_count=3

使用方式

全局开关只是放行；每个对话需在输入框点 地球图标（代码依据 middleware.py:2456，仅当 features.web_search=true 才执行搜索）。闲聊勿开，免得拖慢首 token。

八、运维速查

dflash                 # 启模型 API（:8000）   Ctrl+C 停
dflash-ui              # 启网页前端（:8080）   Ctrl+C 停
MAX_CTX=65536 PC_SLOTS=2 MAX_TOKENS=16384 dflash   # 长文本临时配置
MODEL=/root/models/xxx.gguf dflash                # 换模型
# 日志：/root/dflash-server.log  /root/webui.log

全部组件已在运行状态，重启机器后按顺序执行 dflash、dflash-ui 即可恢复。

总结：在保证速度的情况下。让模型能够执行网络搜集工作。这个信息时代里，这个功能更加重要。
希望此文能帮助到大家。