DeepSeek-V4-Flash｜2 张 Atlas300I Duo 96G（合计 192GB，MindIE /vLLM-Ascend，W8A8，TP+EP 专家并行）

模型：284B MoE，激活 13B，原生 1M 上下文；昇腾无 DFlash2，仅可使用 DeepSeek 原生 DSpark 投机（vLLM-Ascend 支持，MindIE 暂不支持 DSpark）
架构：问答一体机内网 API 调用算力服务器，医院场景，病历长文本

一、Decode token/s（单流 batch=1，非思考模式，最常用）

方案 1：MindIE（无 DSpark 投机，生产稳定优先，投标推荐）

• 短 Prompt（1K token，普通问诊）：48 ~54 token/s
• 长病历 32K 上下文：44 ~50 token/s
• 超长 1M 上下文（整份病案一次性灌入）：40 ~46 token/s

TTFT（首 token 延迟）：1M 上下文 prefill 很慢，数十秒级别，适合后台批量病案分析，不适合医生交互式实时问答。

方案 2：vLLM-Ascend + DSpark（DeepSeek 原生投机解码，提速）

开启 DSpark 后，单流可提升约 30%

• 短 Prompt（1K）：60 ~66 token/s
• 长病历 32K：54 ~60 token/s
• 1M 超长上下文：48 ~54 token/s

注意：DSpark 会增加推理引擎复杂度，医院生产环境需要充分压测验证稳定性。

二、并发吞吐（MindIE，无 DSpark）

• 2 并发（2 名医生同时调用问答一体机）：单流下降至 40~44 token/s，整机总吞吐≈82~88 token/s

短板：MoE 专家路由 + LPDDR4X 带宽瓶颈，并发不能开高；推荐≤2 并发，仅适合少量医生做深度病案质控，不适合多人日常问答。

三、关键限制（医院项目重点，写进技术方案）

1. 显存边界：2×Atlas300I Duo 合计 192GB，刚好放下 DeepSeek-V4-Flash W8A8 权重，KV 缓存余量紧张；不建议同时加载其他模型（如 Qwen-VL 图片解析）。
2. Prefill 速度短板：百万级长病历输入，首 token 等待时间很长，交互式问答体验差；该模型更适合后台批量病案深度分析，而不是医生实时问答。
3. 昇腾 LPDDR 带宽瓶颈：对比 Atlas300I A2（HBM），Duo 的 LPDDR4X 带宽低，MoE 专家调度时显存访问延迟更高，是速度上限的核心原因。
4. 思考模式（reasoning_effort high/max）：开启思考模式后，token/s 会进一步下降 25%~35%。